В Санкт-Петербургском Федеральном исследовательском центре РАН (СПб ФИЦ РАН) создали приложение для смартфона, с помощью которого можно считывать речь пользователя в шумных местах по губам, что позволит повысить точность распознавания слов голосовыми помощниками в сложных условиях, пишет ТАСС.
Источник изображения: Pixabay
В пресс-службе СПб ФИЦ РАН отметили, что приложение можно будет использовать в широком перечне отраслей с применением голосовых команд — от сферы услуг до тяжёлой промышленности.
Как сообщается, в основе приложения лежит нейросетевая модель, способная распознавать по аудиовизуальным сигналам (видеозаписям, сопровождающимися звуком) несколько сотен наиболее распространённых команд и автоматически определять, какой вид данных обеспечивает максимальную точность — видео или звук, или оба сразу.
«Исследователи Санкт-Петербургского Федерального исследовательского центра РАН научились при помощи алгоритмов искусственного интеллекта и компьютерного зрения распознавать речь человека по губам. Разработка поможет повысить точность работы голосовых помощников в шумных условиях, например, в людных местах или при управлении тяжёлой техникой», — рассказали в пресс-службе корреспонденту ТАСС.
Программа прошла тестирование в одной из логистических компаний в России. Для этого приложение было установлено на смартфоны водителей шумных большегрузных автомобилей. Тестирование подтвердило тот факт, что совмещение двух видов считывания информации повышает эффективность работы алгоритмов — если при чтении по губам точность распознавания команд составила 60–80 %, то в сочетании со звуковым сигналом точность распознавания превышает 90 %.
«Мы предполагаем, что в будущем наше приложение может найти применение у пилотов самолётов и тяжёлой промышленной техники или для использования в интерактивных информационных киосках в торговых центрах и других местах массового скопления людей», — сообщил старший научный сотрудник лаборатории речевых и многомодальных интерфейсов СПб ФИЦ РАН Денис Иванько.
Также следует отметить, что на проведение разработки был выделен грант Российского научного фонда.