거의 더빙: Yandex는 YouTube 동영상의 다중 음성 번역을 배웠습니다.

외국 비디오를 즉석에서 번역했던 Yandex 신경망을 기억하시나요? 회사는 그녀를 가르쳐서 그녀를 "업그레이드"했습니다.

큰 트릭.
토론하다

따라서 이제 Yandex.Browser 사용자는 러시아어로 된 다중 음성 음성 번역과 함께 영어로 비디오를 볼 수 있습니다.

처음에 이 기술이 음성 번역을 위해 두 개의 합성된 음성(남성 한 명과 여성 한 명)을 사용했다면 이제는 12개의 음성이 있습니다. 성별에 따라 6개.

신경망은 음성을 다른 화자에게 "분배"한 다음 Yandex 내부에서 생성된 AI 모델을 사용하여 음성을 "기억"한다고 보고됩니다.

그리고 그것은 모두 매우 다층적으로 작동합니다.먼저 한 신경망은 음성을 텍스트로 변환하고 구두점을 복원하며 문장의 경계를 결정한 다음 다른 신경망은 음성의 스펙트로그램을 분석하고 다른 사람들이 말한 조각을 표시합니다.