Команда Яндекса объявила о запуске очень удобной функции для пользователей «Яндекс Браузера» — возможность смотреть ролики с многоголосым закадровым переводом.
Изначально «Браузер» использовал два синтезированных голоса для перевода речи: один мужской и один женский. Теперь пользователям стал доступен многоголосый перевод видео — голосов стало двенадцать, шесть мужских и шесть женских. Как отмечают разработчики, благодаря улучшенным алгоритмам воспринимать видео с большим количеством говорящих участников стало намного легче.
«Браузер» «раздаёт» голоса разным спикерам и «запоминает» их с помощью нейросетевых технологий Яндекса. Сначала одна нейросеть переводит речь в текст, восстанавливает пунктуацию и определяет границы предложений. Затем уже другая нейросеть анализирует спектрограмму голоса и отмечает фрагменты, сказанные разными людьми. Так и становится ясно, кто из спикеров что произнес.
Напомним, год назад, в сентябре 2021 года команда Яндекса запустила для массового использования возможность смотреть англоязычные ролики на многих популярных платформах, включая YouTube и Vimeo, с автоматической русскоязычной озвучкой.