Научные сотрудники Apple разработали систему искусственного интеллекта ReALM (Reference Resolution as Language Modeling), способную существенно улучшить понимание человека голосовыми помощниками и повысить эффективность их реакции на запросы.
В Apple описали систему как способ решить проблему разрешения ссылок большими языковыми моделями — она поможет ИИ интерпретировать описание пользователем объектов на экране и лучше понимать контекст разговора. В результате ReALM приведёт к более интуитивному и естественному взаимодействию с устройствами. Разрешение ссылок помогает системам лучше понимать естественную речь, позволяя пользователям в разговоре с ИИ пользоваться местоимениями и другими косвенными отсылками. Для голосовых помощников этот аспект взаимодействия с человеком традиционно представлял значительную проблему, и система ReALM сводит её к задаче, решаемой на уровне языковой модели. ИИ начинает адекватно воспринимать отсылки к визуальным элементам на экране и интегрирует эти понятия в поток разговора.
ReALM восстанавливает визуальный макет экрана при помощи текстовых представлений. Этот процесс включает в себя анализ экранных объектов и их местоположений с его переводом в текстовый формат, отражающий содержимое и структуру элементов на экране. Исследователи Apple обнаружили, что этот способ в сочетании с тонкой настройкой языковых моделей значительно превосходит традиционные методы, включая возможности нейросети OpenAI GPT-4. ReALM поможет пользователям предельно просто описывать элементы экрана, а ИИ-помощникам — понимать такие описания. Эти возможности окажутся полезными, например, при управлении информационно-развлекательными системами автомобилей с помощью голосовых команд и повысят эффективность голосового интерфейса для людей с ограниченными возможностями.