Google заявила, что её новое семейство ИИ-моделей обладает любопытной чертой — способностью «распознавать» эмоции. По словам компании, семейство ИИ-моделей PaliGemma 2, представленное в четверг, может анализировать изображения, позволяя ИИ генерировать подписи и отвечать на вопросы о людях, которых он «видит» на фотографиях.

Источник изображений: Google

«PaliGemma 2 генерирует подробные, контекстно релевантные подписи для изображений, выходя за рамки простой идентификации объектов, чтобы описывать действия, эмоции и общее повествование сцены», — пишет Google в своём официальном блоге. Для распознавания эмоций PaliGemma 2 необходимо настроить соответствующим образом. Без этого он не работает. Однако эксперты, с которыми пообщались журналисты портала TechCrunch, были встревожены перспективой появления общедоступного детектора эмоций.

«Меня это очень беспокоит. Для меня проблематично считать, что мы можем “читать” эмоции людей. Это как просить совета у магического шара предсказаний (Magic 8 Ball, популярная игрушка, — прим. ред.) для решения серьёзных вопросов», — отметила в разговоре с TechCrunch Сандра Вахтер (Sandra Wachter), профессор этики данных и ИИ из Оксфордского института исследования Интернета.

Технологические компании, занимающиеся развитием ИИ, годами пытаются создать искусственный интеллект, способный определять эмоциональные аспекты в любых вещах — начиная от обучения продажам и заканчивая задачами, связанными с предотвращением несчастных случаев.

Разработка большинства детекторов эмоций базируется на ранних работах американского психолога Пола Экмана (Paul Ekman), который предположил, что у людей есть шесть основных типов эмоций: гнев, удивление, отвращение, удовольствие, страх и грусть. Однако последующие исследования этого вопроса поставили под сомнение гипотезу Экмана и показали, что существуют серьёзные различия в том, как представители разных слоёв общества выражают свои чувства.

«Определение эмоций в каком-то универсальном общем случае невозможно, потому что люди испытывают эмоции сложным образом. Нам кажется, что, глядя на людей, мы можем определить, что они чувствуют. И этим приёмом на протяжении многих лет пытались пользоваться разные люди, в том числе разведывательные органы и рекламные компании. Я уверен, что в некоторых случаях абсолютно возможно обнаружить некоторые общие признаки, но это не то, о чём идёт речь и не то, для чего в конечном итоге можно найти универсальный ответ», — сказал специализирующийся на ИИ научный сотрудник Лондонского университета королевы Марии Майк Кук (Mike Cook) в интервью TechCrunch.

Эксперты считают, что системы обнаружения эмоций, как правило, ненадёжны и предвзяты из-за особенностей взглядов самих разработчиков таких систем. В исследовании Массачусетского технологического института 2020 года учёные показали, что модели для анализа лиц могут формировать непреднамеренные предпочтения для определённых лицевых выражений, таких как улыбка. Более поздние исследования показывают, что модели анализа эмоций приписывают больше негативных эмоций лицам темнокожих людей, чем лицам белых людей.

Google заявляет, что провела «обширное тестирование» для оценки демографических предубеждений у PaliGemma 2 и обнаружила «значительно более низкий уровень токсичности и ненормативной лексики» по сравнению с отраслевыми бенчмарками. Однако компания не предоставила полный список использованных бенчмарков и не указала, какие типы тестов проводились.

Единственный бенчмарк, о котором рассказала Google, — это FairFace, состоящий из набора десятков тысяч портретов людей. Компания утверждает, что PaliGemma 2 показала хорошие результаты при оценке FairFace. Но некоторые эксперты раскритиковали бенчмарк за его предвзятость, отметив, что в FairFace представлены далеко не все расовые группы, а лишь несколько.

«Интерпретация эмоций — это довольно субъективный вопрос, который выходит за рамки использования визуальных средств и тесно связан с личным и культурным контекстом. Если не брать в расчёт ИИ, исследования показывают, что мы не можем распознавать эмоции только по чертам лица», — говорит Хайди Кхлааф (Heidy Khlaaf), главный научный сотрудник по ИИ в AI Now Institute, некоммерческой организации, изучающей социальные последствия искусственного интеллекта.

В ЕС использование систем распознавания эмоций вызвало серьёзные вопросы у регулирующих органов. Закон об ИИ, основной законодательный акт ЕС в области ИИ, запрещает школам и работодателям использовать детекторы эмоций. Однако он не запрещает их использование правоохранительными органами.

Источник изображения: Unsplash

Главное опасение экспертов, относительно открытых ИИ-моделей, таких как PaliGemma 2, которая распространяется через различные источники, включая платформу разработки ИИ Hugging Face, заключается в возможности злоупотребления и неправильности их использования, что может привести к реальному вреду.

«Если эта так называемая “эмоциональная идентификация” основана на псевдонаучных предубеждениях и предрассудках, то существует значительный риск последствий в том, как эта возможность может быть использована для последующей и ложной дискриминации различных маргинализированных групп правоохранительными органами, работодателями, пограничными службами и т. д.», — говорит Кхлааф.

В Google же говорят, что компания тестирует свои ИИ-модели на предрасположенность к «репрезентативный вреду» (стереотипам о социальных группах, например, расовых, этнических, гендерных или религиозных, которые приводят к отрицательным последствиям для этих групп и их представителей). «Мы провели надёжную оценку моделей PaliGemma 2 с точки зрения этики и безопасности, включая безопасность детей и безопасность контента», — добавили в компании.

Профессора этики данных и ИИ в Оксфордском институте Интернета Сандру Вахтер такой ответ компании не убедил: «Ответственные инновации — это когда вы думаете о последствиях их разработки с первого дня работы над ними, каждый раз, когда вы входите в свою лабораторию, а затем продолжаете делать это на протяжении всего жизненного цикла продукта. Я могу представить себе множество потенциальных проблем, которые могут создать такие модели и в конечном итоге привести к антиутопичному будущему, в котором ваши эмоции будут определять, получите ли вы работу, кредит и поступите ли в университет».

Восемь технологических компаний, в том числе Adobe, IBM, NVIDIA, Palantir, Salesforce и Stability, взяли на себя добровольное обязательство перед Белым домом по разработке систем искусственного интеллекта в рамках этических норм; ранее аналогичное обязательство взяли на себя ещё семь крупных разработчиков. Это поможет снизить риски, связанные с ИИ. Параллельно вашингтонские политики обсуждают принципы регулирования данных технологий.

Источник изображения: David Mark / pixabay.com

К настоящему моменту 15 наиболее влиятельных компаний США добровольно взяли на себя обязательства, связанные с разработкой систем ИИ. Они включают в себя построение технологии для идентификации изображений, созданных искусственным интеллектом, и обязательство делиться данными, касающимися безопасности систем ИИ, с правительством и учёными.

Тем временем в Конгрессе ведётся работа, направленная на создание норм регулирования ИИ. Уже завтра лидер сенатского большинства Чарльз Шумер (Charles E. Schumer) проведёт посвящённую этому вопросу встречу с главой Tesla Илоном Маском (Elon Musk), главой Meta✴ Марком Цукербергом (Mark Zuckerberg), а также другими представителями технологической отрасли и правозащитниками. А уже сегодня руководитель аппарата Белого дома Джефф Зинтс (Jeff Zients) встретится с представителями Adobe и других компаний для обсуждения преимуществ и рисков ИИ.

Взятые компаниями на себя обязательства распространяются на следующие системы, разрабатываемые этими компаниями — текущие проекты будут доведены в исходном виде.

Учёный в области информатики Джеффри Хинтон (Geoffrey Hinton, на фото ниже), которого называют «крёстным отцом ИИ», в апреле покинул пост вице-президента Google. Он сделал это, чтобы открыто предупредить общественность о рисках, связанных с использованием ИИ, а также в связи с тем, что отказ Google от своих прежних ограничений в отношении публичных выпусков ИИ из-за конкуренции с ChatGPT, Bing Chat и т.д. влечёт за собой множество этических проблем.

Источник изображения: CBS

В интервью ресурсу The New York Times Хинтон выразил обеспокоенность тем, что генеративный ИИ может привести к волне дезинформации. Возможно, вы «больше не сможете знать, что является правдой», говорит учёный. Он также утверждает, что ИИ не только позволит устранить «монотонную работу», но и полностью заменит некоторые рабочие места.

Также у учёного вызывает тревогу возможность создания полностью автономного оружия на базе ИИ, и тенденция ИИ-моделей учиться «странному поведению» на основе обучающих данных. Хотя некоторые из поднятых им вопросов носят чисто теоретический характер, Хинтон опасается эскалации, связанной с развёртыванием ИИ, которую будет невозможно остановить без эффективных средств контроля или жёстких ограничений.

Хинтон заявил, что его позиция по отношению к ИИ начала меняться в прошлом году, когда Google, OpenAI и другие компании начали создавать системы ИИ, порой превосходящие человеческий интеллект. В течение последних пяти лет ИИ получил стремительное развитие, и то, что может произойти в следующие пять лет, вызывает у учёного тревогу.

Комментируя утверждения Хинтона, главный научный сотрудник Google Джефф Дин (Jeff Dean) сообщил ресурсу Engadget, что поисковый гигант по-прежнему придерживается «ответственного подхода» и следит за «возникающими рисками».

Google приобрела стартап DNNresearch Джеффри Хинтона в 2013 году, и его наработки способствовали созданию генеративных технологии ИИ. В частности, Хинтон является одним из авторов метода обратного распространения ошибки для тренировки многослойной нейронной сети.

Опасения Хинтона разделяет целый ряд влиятельных учёных и руководителей технологических фирм. Недавно Илон Маск (Elon Musk), Стив Возняк (Steve Wozniak), а также более 1000 других экспертов в области искусственного интеллекта и представителей IT-индустрии призвали в открытом письме ввести полугодовой мораторий на обучение ИИ-систем в связи с необходимостью решения этических проблем и вопросов обеспечения безопасности.

Microsoft, Meta✴, Google, Amazon и Twitter оказались в числе компаний, которые сократили свои команды «ответственного развития ИИ», которые консультировали разработчиков по вопросам общественной безопасности и этичности потребительских продуктов с искусственным интеллектом. Хотя это лишь десятки сотрудников, и они теряются на фоне многотысячных сокращений по всей IT-отрасли, сокращение таких команд может привести к распространению вредных ИИ-инструментов.

Источник изображения: Pixabay

Компании заявляют, что по-прежнему привержены внедрению безопасных продуктов ИИ, но эти сокращения вызывают беспокойство экспертов, поскольку злоупотребления обычно обнаруживаются как раз в тот момент, когда технология становится по настоящему массовой. Эта обеспокоенность особенно возросла после успеха чат-бота ChatGPT и его конкурентов, таких как Microsoft Bing.

«Шокирует то, сколько ответственных за ИИ сотрудников увольняют в то время, когда, возможно, таких команд требуется больше, чем когда-либо», — говорит Эндрю Стрейт (Andrew Strait), бывший исследователь этики и политики в DeepMind, принадлежащем Alphabet.

В январе Microsoft распустила всю свою команду по этике ИИ. Компания утверждает, что под сокращение попали менее 10 сотрудников, а в Microsoft по-прежнему работают сотни людей, ответственных за ИИ. «Мы значительно расширили наши усилия в области ответственного искусственного интеллекта и усердно работали над их институционализацией во всей компании», — заявила Наташа Крэмптон (Natasha Crampton), главный ответственный сотрудник Microsoft по искусственному интеллекту.

Twitter сократил более половины своего персонала, включая небольшую команду по вопросам этики ИИ. В задачи команды входило, в том числе, исправление предвзятости в алгоритме Twitter, который, по-видимому, отдавал предпочтение белым лицам при выборе способа обрезки изображений в социальной сети.

Потоковая платформа Twitch, принадлежащая Amazon, на прошлой неделе сократила свою команду по этике ИИ, назвав всех сотрудников, работающих над продуктами ИИ, ответственными за проблемы, связанные с предвзятостью. Meta✴ ещё в сентябре 2022 года распустила свою команду по этике ИИ, состоящую примерно из 20 инженеров и специалистов по этике, которым была поручена оценка гражданских прав и этики в Instagram✴ и Facebook✴.

Некоторые сотрудники, отвечающие за этический надзор за искусственным интеллектом в Google, также были уволены в рамках более масштабных сокращений штата Alphabet, насчитывающего более 12 000 человек. Google не уточнила, сколько должностей было сокращено, но ответственный подход к ИИ остаётся «главным приоритетом в компании, и мы продолжаем инвестировать в эти команды».

Источник изображения: Pixabay

Роль внутренних команд по этике ИИ подверглась тщательному анализу, поскольку давно ведутся споры о том, должно ли вмешательство человека в алгоритмы быть прозрачным для общественности и регулирующих органов. «Команды ответственного развития искусственного интеллекта являются одними из немногих внутренних бастионов, которые должны быть у Big Tech, — говорит бывший исследователь этики ИИ в Facebook✴ Джош Саймонс (Josh Simons). — Скорость, с которой они сокращаются, оставляет алгоритмы Big Tech на милость рекламных императивов, подрывая благополучие детей, уязвимых людей и нашу демократию».

Ещё одна проблема заключается в том, что большие языковые модели, лежащие в основе чат-ботов, таких как ChatGPT, «галлюцинируют» — выдают ложные утверждения за факты — и могут использоваться преступниками для мошенничества и распространения дезинформации. К сожалению, сейчас ответственный подход компаний к использованию ИИ отходит на задний план из-за конкуренции и ради быстрого выхода на рынок.

Microsoft расформировала команду специалистов по этике и работе с общественностью в области искусственного интеллекта. Ликвидация команды была произведена в рамках масштабного сокращения рабочих мест, затронувшего 10 тысяч сотрудников, сообщил ресурс Platformer.

Источник изображения: Pixabay

Вместе с тем Microsoft продолжает вкладывать значительные средства в своё партнёрство со стартапом OpenAI, создателем систем искусственного интеллекта ChatGPT и DALL-E 2, и обновляет свою поисковую систему Bing и веб-браузер Edge, которые будут использовать новую большую языковую модель следующего поколения, «более мощную, чем ChatGPT, и настроенную специально для поиска».

Как отметил ресурс TechCrunch, этот шаг ставит под сомнение приверженность Microsoft обеспечению реализации в дизайне своих продуктов принципов ответственного ИИ. По словам нынешних и бывших сотрудников, после этого решения Microsoft остаётся без специальной команды, которая обеспечивала бы тесную связь принципов ИИ с разработкой продукта в то время, когда компания поставила цель сделать инструменты ИИ общедоступными.

Недавно эта команда работала над выявлением рисков, связанных с интеграцией технологий OpenAI в набор продуктов Microsoft. В ней было не так уж и много сотрудников: после реорганизации в октябре команду сократили, и осталось всего около семи человек. 6 марта 2023 года Джон Монтгомери (John Montgomery), корпоративный вице-президент по искусственному интеллекту Microsoft, сообщил оставшимся членам команды, что в итоге её расформируют.

Участники команды высказали мнение, что после того, как Microsoft решила опередить конкурентов в запуске продуктов ИИ, руководство компании стало меньше интересоваться долгосрочными последствиями от внедрения ИИ, на которых специализировалась команда, поэтому надобность в ней отпала.

Впрочем, у Microsoft по-прежнему работает подразделение Office of Responsible AI, которое устанавливает правила для ответственного ИИ через управление и работу с государственной политикой. И компания утверждает, что, несмотря на недавние увольнения, её инвестиции в ответственный ИИ растут.