Закадровый перевод видео в «Яндекс.Браузере» стал многоголосым

Команда разработчиков «Яндекса» сообщила об очередных доработках технологии закадрового перевода видеороликов на иностранных языках и включении поддержки синхронного перевода с использованием 12 голосов — шести мужских и шести женских.

Источник изображения: «Яндекс»

Система закадрового перевода интегрирована в «Яндекс.Браузер» и в полной мере использует технологии машинного обучения и искусственного интеллекта на базе нейронных сетей.

Для распознавания разных спикеров на видео используются две нейросети: сначала одна из них переводит речь в текст, восстанавливает пунктуацию и определяет границы предложений, затем вторая анализирует спектрограмму голоса и отмечает на аудиодорожке фрагменты, сказанные разными людьми. Таким образом становится ясно, кто из спикеров что произнёс, и воспринимать перевод видео с большим количеством действующих лиц становится намного легче.

«Мы постоянно работаем над качеством перевода и озвучки, чтобы дать нашим пользователям доступ к любому контенту со всего мира. По нашим оценкам, около половины YouTube-роликов на иностранных языках — это ролики с тремя и более спикерами. Смотреть их с двухголосой озвучкой не совсем удобно — поэтому мы и сделали десять новых голосов», — отмечают в «Яндексе».

В настоящий момент система закадрового перевода «Яндекса» поддерживает английский, французский, немецкий, испанский и итальянский языки. В планах компании — добавление новых языковых пар и расширение функциональных возможностей продукта.