OpenAI представила ИИ Voice Engine, который клонирует ваш голос по 15-секундному образцу

OpenAI представила результаты предварительного тестирования ИИ-модели Voice Engine, которая на основе 15-секундного образца может реалистично озвучить введённый текст, стараясь максимально точно передать голос и речевые особенности говорящего.

Источник изображения: Unsplash, Igor Omilaev

Первые наработки Voice Engine появились в конце 2022 года и использовались в API для преобразования текста в речь, а также совместно с ChatGPT Voice and Read Aloud. В OpenAI осознают последствия возможного злоупотребления технологией синтезированных голосов, поэтому надеется получить отклик от общества по возможным опасностям и сферам применения. Что касается последних, с прошлого года OpenAI предложила протестировать Voice Engine небольшой группе партнёров — и получила примеры использования:

• Помощь имеющим проблемы с чтением людям и детям посредством естественных, эмоциональных и разнообразных голосов. Так, специализирующаяся на образовательных технологиях компания Age of Learning использует Voice Engine для озвучки контента, а также, совместно с GPT-4, персонализированных ответов учащимся в реальном времени.
• Перевод контента, например, видеороликов и подкастов, позволит авторам и компаниям расширить аудиторию по всему миру, сообщая информацию собственными голосами и голосами сотрудников. Одним из первопроходцев стала компания HeyGen — ИИ-платформа визуального повествования для корпоративных клиентов, предназначенная для создания человекоподобных аватаров в различных целях — от продуктового маркетинга до торговых предложений. Voice Engine сохраняет родной акцент диктора, поэтому при озвучении английского текста французским диктором будет слышен французский акцент.
• Поддержка людей с проблемами речи, терапевтические приложения, образовательные дополнения. Livox — ИИ-приложение для устройств альтернативной и дополненной коммуникации помогает людям с проблемами в общении. Используя Voice Engine, Livox предложит немым людям уникальные, нероботозированные голоса. Пользователь может выбрать наиболее подходящий ему голос, который будет говорить на разных языках.
• Помощь в восстановлении голоса при внезапных и дегенеративных нарушениях речи. Институт Нейронаук Нормана Принца (NPNI) проводит пилотную программу помощи людям с онкологическими или неврологическими нарушениями речи. Благодаря способности Voice Engine воcпроизводить речь по 15-секундному образцу, доктора Фатима Мирза (Fatima Mirza), Рохаид Али (Rohaid Ali) и Константина Свокос (Konstantina Svokos) воспользовались аудиозаписью из видеоролика для школьного проекта и восстановили голос молодой пациентки с проблемами речи из-за сосудистой опухоли мозга.

Партнёры OpenAI согласились с правилами использования технологии, запрещающими с её помощью выдавать себя за другого человека, чего не скажешь о возможных злоумышленниках, всё чаще использующих нейросетевые технологии в преступных целях.