Новые исследования ставят под сомнение заявления Google о возможностях больших языковых моделей моделей Gemini по обработке больших объёмов данных, показывая, что их эффективность в анализе длинных текстов и видео значительно ниже заявленной.

Источник изображения: Google

Недавние исследования выявили существенные недостатки в работе флагманских генеративных моделей искусственного интеллекта Google Gemini 1.5 Pro и 1.5 Flash, пишет издание TechCrunch. Google неоднократно подчёркивала способность Gemini обрабатывать огромные объёмы данных благодаря большому контекстному окну, утверждая, что модели могут анализировать документы объёмом в сотни страниц и искать информацию в видеозаписях. Однако два независимых исследования показали, что на практике эти модели справляются с такими задачами гораздо хуже.

Учёные из Массачусетского университета в Амхерсте (UMass Amherst), Института Аллена по искусственному интеллекту (Allen Institute for AI) и Принстона (Princeton University) тестировали Gemini на способность отвечать на вопросы о содержании художественных книг. Представленная для теста книга содержала около 260 000 слов (около 520 страниц). Результаты оказались неутешительными. Gemini 1.5 Pro правильно ответил только в 46,7 % случаев, а Gemini 1.5 Flash лишь в 20 % случаев. Далее усреднив результаты, выяснилось, что ни одна из моделей не смогла достичь точности ответов на вопросы выше случайной.

Маржена Карпинска (Marzena Karpinska), соавтор исследования, отметила: «Хотя такие модели, как Gemini 1.5 Pro, технически могут обрабатывать длинные контексты, мы видели много случаев, указывающих на то, что модели на самом деле не понимают содержание».

Второе исследование, проведённое учёными из Калифорнийского университета в Санта-Барбаре, фокусировалось на способности Gemini 1.5 Flash анализировать видеоконтент, а точнее слайды с изображениями. Результаты также оказались неудовлетворительными — из 25 изображений ИИ дал правильные ответы только в половине случаев, а при увеличении количества картинок точность ответов понизилась до 30 %, что ставит под сомнение эффективность модели в работе с мультимедийными данными.

Правда отмечается, что ни одно из исследований не прошло процесс рецензирования, и к тому же не тестировались самые последние версии моделей с контекстом в 2 миллиона токенов. Тем не менее, полученные результаты вызывают серьёзные вопросы в отношении реальных возможностей генеративных моделей ИИ в целом, и о том, насколько обоснованы маркетинговые заявления технологических гигантов.

Данные исследования появились на фоне растущего скептицизма в отношении генеративного ИИ. Так, недавние опросы международной консалтинговой компании Boston Consulting Group показали, что около половины опрошенных руководителей высшего звена не ожидают существенного повышения производительности от использования генеративного ИИ и обеспокоены возможными ошибками и проблемами с безопасностью данных.

Эксперты же призывают к разработке более объективных критериев оценки возможностей ИИ и к большему вниманию и независимой критике. Google пока не прокомментировал результаты этих исследований.

В рамках WWDC 2024 ранее в этом месяце Apple объявила о сотрудничестве с OpenAI для интеграции ChatGPT в свои устройства. Вместе с тем компания сообщила, что в будущем будут интегрированы и другие ИИ. Теперь сообщается, что Apple планирует заключить партнёрское соглашение с Google и позднее с Anthropic. Ожидается, что компания объявит о новых сделках этой осенью, одновременно с запуском собственной системы искусственного интеллекта Apple Intelligence в бета-версии.

Источник изображения: Daniel Romero / Unsplash

По информации Марка Гурмана (Mark Gurman) из Bloomberg, Apple готовится к значительному расширению возможностей искусственного интеллекта в своих устройствах. Помимо уже анонсированной интеграции с ChatGPT, компания планирует объявить о партнёрстве с Google для добавления чат-бота Gemini в свои продукты. Это объявление ожидается осенью, и намёки на потенциальную сделку уже были сделаны руководителем отдела программного обеспечения Apple Крейгом Федериги (Craig Federighi), также передаёт издание The Verge.

Кроме того, судя по слухам, фигурирует возможное сотрудничество с компанией Anthropic, хотя точные сроки анонса этого партнёрства пока неизвестны. В то же время, Гурман отмечает, что Apple отказалась от сотрудничества с Meta✴ из-за вопросов конфиденциальности, связанных с её чат-ботом Llama.

Параллельно с интеграцией сторонних решений, Apple будет развивать собственную систему искусственного интеллекта, получившее название Apple Intelligence. Ожидается, что первая бета-версия этой системы будет представлена также осенью, однако пока неясно, будет ли она достаточно функциональна, чтобы стать основным стимулом для обновления устройств, таких как iPhone 15 Pro и Pro Max на более новые.

Эксперты полагают, что Apple рассматривает искусственный интеллект не только как набор функций для продвижения своих устройств, но и как потенциальный источник прямой прибыли. В будущем компания может внедрить платную подписку на некоторые возможности Apple Intelligence, а также получать долю от покупок в приложениях, связанных с подписками на чат-боты своих партнёров.

Интеграция сторонних ИИ-сервисов может стать хорошей временной альтернативой для Apple, так как компания не очень быстро разрабатывает собственную систему генеративного ИИ. При этом пользователи получат больший выбор и разнообразие функций искусственного интеллекта на устройствах Apple.

Google разрабатывает технологию создания персонализированных чат-ботов, с которыми можно общаться как с реальными людьми или вымышленными персонажами. Пользователи смогут создавать собственных ботов, настраивая их стиль общения и характер.

Источник изображения: Google

По данным The Information, подразделение Google Labs разрабатывает продукт для создания и общения с настраиваемыми чат-ботами, которые могут быть смоделированы на основе знаменитостей или созданы непосредственно самими пользователями. Чат-боты будут построены на основе моделей Gemini и позволят задавать их индивидуальную личность, а также внешний вид виртуального собеседника. Google рассматривает возможность официального сотрудничества с инфлюенсерами для создания ботов на их основе.

Учитывая возможности ИИ-моделей по работе с большими объёмами данных, проект отлично впишется в концепцию Google Labs и может быть запущен уже в этом году в качестве отдельного продукта. В перспективе планируется интегрировать этот продукт в YouTube, что даст пользователям возможность общаться с персонализированными чат-ботами прямо на платформе видеохостинга. Это будет эксперимент, который уже предлагает Meta✴ в Instagram✴, правда, не вызывая пока особого интереса со стороны пользователей.

Отметим, что новый проект отличается от проекта Gems, который является просто кастомизированной версией Gemini для определённых нужд. Например, в Gemini Gems по умолчанию будет тренер по йоге, репетитор по математике и кулинарный гуру. А чтобы создать собственного личного помощника, придётся купить подписку Gemini Advanced. Gems был анонсирован на конференции Google I/O 2024 в мае и станет доступен широкой аудитории в ближайшее время.

Компания Mozilla добавила в экспериментальную версию своего браузера Firefox Nightly полный набор популярных чат-ботов. Интеграция ИИ-помощников в браузер позволит анализировать и обобщать найденную в интернете информацию.

Источник изображения: Mozilla

Уже на этой неделе пользователи смогут добавить в боковую панель ChatGPT, Google Gemini, HuggingChat и других известных чат-ботов. Правда, чтобы их протестировать в Firefox, необходимо установить экспериментальную версию браузера Nightly — это специальная «нестабильная платформа для тестирования и разработки».

После установки Nightly, перейдите в «Настройки» — «Nightly Experiments» и активируйте опцию «AI Chatbot Integration», далее выберите бота. Для его постоянного размещения на панели, нужно кликнуть правой кнопкой мыши по верхней панели браузера и выбрать «Настроить панель инструментов». Затем следует перетащить иконку чат-бота на верхнюю панель.

Источник изображения: Mozilla

Компания отмечает, что все модели чат-ботов находятся на стадии разработки и имеют как сильные, так и слабые стороны. «Ни один из них не идеален, и каждый выполняет какую-то задачу лучше, какую-то хуже». Кстати, использование чат-ботов полностью опционально и не встроено в основные функции Firefox.

Mozilla, на самом деле, следует тенденции, заданной другими разработчиками браузеров, которые внедряют чат-ботов в свои продукты. Например, Microsoft и Google уже представили Copilot и Gemini для Edge и Chrome, а Opera и DuckDuckGo также уже зашли в этот «океан», экспериментируя с ИИ. В компании отметили, что будут продолжать тестирование версии Nightly, прежде чем внедрять эту функцию в бета-версию и официальный релиз Firefox.

Конференция WWDC 2024 на этой неделе подтвердила информацию об интеграции чат-бота ChatGPT компании OpenAI с функциями голосового интерфейса Siri компании Apple. Руководство последней также дало понять, что ChatGPT всё не ограничится, и в случае необходимости Apple могла бы реализовать интеграцию с другими большими языковыми моделями типа Google Gemini.

Источник изображения: Apple

Об этом в интервью после открытия WWDC 2024 заявил старший вице-президент Apple Крейг Федериги (Craig Federighi), как отмечает TechCrunch. «В будущем мы ожидаем интеграцию с другими моделями, включая Google Gemini, например», — пояснил представитель компании. Сейчас он не готов делать соответствующие официальные анонсы, но именно в этом направлении Apple движется, как добавил Крейг Федериги.

Доступ пользователей iOS 18 к ChatGPT, как уже отмечалось накануне, не потребует отдельной оплаты или авторизации в сервисах OpenAI, а вопросы безопасной передачи данных будут регулироваться достаточно прозрачно. Как пояснили представители компании, прежде чем переключиться на использование сервисов OpenAI, пользователи Apple получат от Siri уточняющий вопрос с просьбой подтвердить это действие. Если от пользователя потребуется передача какой-либо информации в инфраструктуру OpenAI, то ему также придётся подтвердить этот шаг через фирменного голосового ассистента Siri.

Кстати, подобная интеграция уже насторожила Илона Маска (Elon Musk) до такой степени, что он собрался запретить сотрудникам своих компаний использовать устройства Apple, поддерживающие iOS 18. По мнению миллиардера, передача информации через платформу Apple в сторону OpenAI создаёт существенные риски для её защищённости.

Недавно компания Google представила обновленную функцию поиска, которая использует искусственный интеллект для генерации мгновенных ответов на запросы пользователей над результатами поиска. Однако эксперты беспокоятся и предупреждают, что «кошки на Луне» — это не совсем то, что хотели бы получить в итоге пользователи.

Источник изображения: Kandinsky

Новый поисковый ИИ-инструмент AI Overview компании Google, который она сделала доступной для жителей США, стал предметом бурного обсуждения в сети из-за того, что частенько он даёт опасные, глупые и вредные ответы (вроде советов использовать клей для закрепления начинки на пицце или съедать по камню в день для удовлетворения потребностей организма в минералах). Новый пример дезинформации от поисковика не заставил себя долго ждать. Когда журналист из Associated Press спросил Google, были ли когда-нибудь кошки на Луне, система искусственного интеллекта уверенно ответила: «Да, астронавты встречали кошек на Луне, играли с ними и заботились о них». Это, конечно же, совершенная неправда.

Более того, ИИ не ограничился одним этим утверждением и продолжил: «Например, Нил Армстронг сказал: “Один маленький шаг для человека”, имея в виду кошачий шаг. А ещё Базз Олдрин держал кошек на корабле “Аполлон-11”».

Проблема в том, что языковые модели, используемые в системах искусственного интеллекта, склонны к «галлюцинациям» — они могут придумывать информацию, основываясь на данных, на которых они обучались. И если эти данные содержат предубеждения или ошибки, система будет их также повторять и, больше того, изобретать новые.

Особенно опасно, когда люди задают системе вопросы срочного порядка, например о том, как действовать при укусе змеи. В таких ситуациях ошибка в ответе может поставить под угрозу жизнь человека.

Эмили Бендер (Emily Bender), профессор лингвистики из Вашингтонского университета, еще в 2021 году предупреждала Google о потенциальных проблемах такого подхода. Она говорила, что системы ИИ могут только усугублять уже существующий в обществе расизм, сексизм и другие предрассудки.

Еще одна проблема, как отмечает автор статьи AP News.com, оказалась более глубокой. Выдача готовых ответов вместо списка сайтов лишает людей возможности самостоятельно искать информацию и проявлять поисковую активность. Также отпадает необходимость посещать онлайн-форумы, так как зачем, если вопрос уже решён. При этом для владельцев многих (очень многих) сайтов это означает потерю ценного интернет-трафика от Google, благодаря которому сайты и существуют.

Тем временем конкуренты Google, такие как OpenAI с их ChatGPT и стартап Perplexity AI, активно разрабатывают собственные решения с использованием ИИ. По словам коммерческого директора Perplexity Дмитрия Шевеленко, обновление Google, похоже, было сделано «в спешке» и содержит много случайных ошибок.

В заявлении Google в пятницу говорится, что они предпринимают меры по исправлению неверных ответов и улучшению качества сервиса. Но в целом компания утверждает, что система работает так, как и планировалось, и было проведено тщательное тестирование перед ее запуском.

В феврале Google приостановила работу основанного на искусственном интеллекте генератора изображений Gemini, который допускал оскорбляющие общественность исторические неточности. К примеру, расовое разнообразие солдат по запросу «римский легион» — явный анахронизм — и стереотипно чёрные мужчины по запросу «зулусские воины». Кажется, ничего не изменилось до сих пор.

Источник изображения: blog.google

Гендиректору Google Сундару Пичаи (Sundar Pichai) пришлось принести извинения за сбой в работе генератора изображений Gemini, а глава ответственного за проект профильного подразделения Google DeepMind Демис Хассабис (Demis Hassabis) пообещал, что ошибка будет исправлена в «кратчайшие сроки» — за несколько недель. Сейчас уже середина мая, а ошибка до сих пор не исправлена.

На этой неделе Google провела ежегодную конференцию I/O, на которой рассказала о множестве новых функций Gemini: модель ИИ сможет использоваться для создания собственных чат-ботов, планировки маршрутов, она будет интегрирована в Google Calendar, Keep и YouTube Music. Но генерация изображений до сих пор отключена в приложении Gemini и веб-интерфейсе, подтвердил ресурсу TechCrunch представитель Google.

Причин задержки он не пояснил. По одной из версий, при обучении ИИ используются наборы данных, в которых превалируют изображения белых людей, тогда как представители других рас и этнических групп составляют исключения, что формирует стереотипы. В попытке исправить этот перекос Google могла прибегнуть к кардинальной мере — жёсткому кодированию, при котором данные встраиваются непосредственно в исходный код. Исправить созданный таким образом алгоритм очень непросто.

На конференции I/O 2024 компания Google подчеркнула, что разработанный ей нейросети Gemini станут новым словом в поиске и ИИ-ассистентах. Однако одна из самых ярких демонстраций возможностей этой системы снова омрачилась недостатком, присущим всем современным большим языковым моделям — галлюцинациями, то есть дачей заведомо неверного ответа.

Источник изображений: youtube.com/@Google

В ролике «Поиск в эпоху Gemini» Google продемонстрировала видеопоиск — функцию поиска информации на основе видео. В качестве одного из примеров компания привела ролик с застрявшим рычажком перемотки плёнки на фотоаппарате и вопросом, почему этот рычажок не движется до конца. Gemini распознал видео, понял запрос и дал несколько советов по исправлению. И как минимум один из них оказался неверным.

ИИ порекомендовал «открыть заднюю крышку и аккуратно снять плёнку». И это, возможно, худшее, что можно сделать в данной ситуации. Потому что если открыть заднюю крышку плёночного фотоаппарата не в абсолютно тёмной комнате, плёнка засветится, и все сделанные снимки придут в негодность. Но на видео этот ответ подсвечен как наиболее подходящий.

Google уже не впервые публикует рекламный материал с фактической ошибкой — заведомо неверной информацией, которую даёт ИИ. В прошлом году чат-бот Bard сообщил, что первый снимок экзопланеты — планеты за пределами Солнечной системы — был получен космическими телескопом «Джеймс Уэбб» (JWST), хотя это не так.

На конференции Google I/O компания анонсировала интеграцию технологии искусственного интеллекта Gemini в почтовый сервис Gmail. ИИ сможет отвечать на вопросы пользователей, предлагать готовые ответы, а также выполнять рутинные задачи в фоновом режиме.

Источник изображения: Google

Gmail является, пожалуй, самым популярным веб-интерфейсом для работы с электронной почтой в мире. Однако даже у такого удобного сервиса могут быть свои недостатки, связанные в первую очередь с тем, что работа с большим объёмом писем и вложений может быть весьма хаотичной и трудоёмкой.

Для решения этой проблемы инженеры Google решили интегрировать в Gmail систему искусственного интеллекта Gemini. Система сможет анализировать содержание писем, извлекать из них ключевую информацию и даже формулировать варианты ответов. По словам вице-президента Google Апарны Паппу (Aparna Pappu), Gemini способен взять на себя всю «тяжёлую работу» по структурированию хаотичных потоков писем.

Одна из ключевых особенностей ИИ заключается в возможности задавать вопросы непосредственно в цепочках писем. Например, пользователь может спросить у системы, какова была предложенная стоимость того или иного проекта, упомянутого в переписке. Gemini проанализирует соответствующие письма и выдаст точный ответ.

Ещё одна полезная функция заключается в автоматическом сравнении конкурирующих коммерческих предложений от разных компаний и формирование из них сводных таблиц. Такие таблицы Gemini может генерировать самостоятельно на основе данных из писем.

Помимо этого, искусственный интеллект избавит пользователей от необходимости вручную обрабатывать многочисленные входящие вложения к письмам, и займётся их организацией в облачном хранилище Google Drive, формируя из них также сводные таблицы. Это могут быть счета, чеки и другие вложения.

Наконец, Google анонсировала интеграцию в Gmail персональных чат-ботов, которые смогут выполнять поиск информации и решать задачи по запросам пользователей в различных сервисах Google — таких как почта, облачное хранилище и других. По словам разработчиков, все эти новшества должны сделать работу с электронной почтой более эффективной и приятной, избавив от однообразных рутинных операций.

Вместе с тем, интеграция Gemini в Gmail произойдёт не сразу. Сначала новые функции появятся в тестовом режиме Google Labs (этой осенью). А вот широкая публика сможет воспользоваться преимуществами ИИ в Gmail только в конце 2024 года или даже позже. При этом доступ к расширенным возможностям Gemini будет платным и составит $19,95 в месяц за каждого пользователя в рамках подписки Google AI Premium.

Во вторник на конференции Google I/O 2024 была анонсирована новая возможность для ИИ-чат-бота Gemini — функция Gemini Live, которая позволяет пользователям вести «углубленные» голосовые диалоги с Gemini на своих смартфонах. Пользователи могут прерывать Gemini во время его реплик, чтобы задать уточняющие вопросы, и чат-бот будет адаптироваться к речи пользователя в режиме реального времени. Кроме того, Gemini может видеть и реагировать на окружение пользователя, используя фотографии или видео, снятые камерами смартфонов.

Источник изображений: Google

Gemini Live — это в некотором роде соединение платформы компьютерного зрения Google Lens и виртуального помощника Google Assistant, и их дальнейшая эволюция. На первый взгляд Gemini Live не кажется кардинальным обновлением по сравнению с существующими технологиями. Но Google утверждает, что система использует новые методы генеративного ИИ, чтобы обеспечить превосходный, менее подверженный ошибкам анализ изображений, и сочетает эти методы с улучшенным речевым движком для более последовательного, эмоционально выразительного и реалистичного многооборотного диалога.

Технические инновации, используемые в Gemini Live, частично связаны с проектом Project Astra, новой инициативой DeepMind по созданию приложений и «агентов» на базе ИИ с поддержкой «понимания» в реальном времени различных источников данных — текста, аудио и изображения. «Мы всегда хотели создать универсального агента, который будет полезен в повседневной жизни, — сказал на брифинге Демис Хассабис (Demis Hassabis), генеральный директор DeepMind. — Представьте себе агентов, которые могут видеть и слышать то, что мы делаем, лучше понимать контекст, в котором мы находимся, и быстро реагировать в разговоре, делая темп и качество взаимодействия гораздо более естественными».

Gemini Live, который будет запущен только в конце этого года, сможет отвечать на вопросы о предметах, находящихся в поле зрения (или недавно попавших в поле зрения) камеры смартфона, например, в каком районе находится пользователь или как называется сломавшаяся деталь велосипеда. Либо пользователь сможет указать системе на часть компьютерного кода, а Live объяснит, за что она отвечает. А на вопрос о том, где могут находиться очки пользователя, Gemini Live скажет, где он видел их в последний раз. А как это облегчит поиск потерянного пульта от телевизора!

Live также сможет стать своеобразным виртуальным наставником, помогая пользователям отрепетировать речь к мероприятию, обдумать идеи и так далее. Live может подсказать, какие навыки следует подчеркнуть на предстоящем собеседовании или стажировке, или дать совет по публичному выступлению.

Способность Gemini Live «запоминать», что происходило недавно, стала возможной благодаря архитектуре модели, лежащей в ее основе — Gemini 1.5 Pro, а также, но в меньшей степени, других «специфических» генеративных моделей. У Gemini 1.5 Pro весьма ёмкое контекстное окно, а значит, она может принять и обработать большое количество данных — около часа видео — прежде чем подготовить ответ. В Google отметили, что Gemini Live будет помнить всё, что происходило в последние часы.

Gemini Live напоминает генеративный ИИ, применяемый в очках Meta✴, которые аналогичным образом могут просматривать изображения, снятые камерой, и интерпретировать их практически в реальном времени. Судя по демонстрационным роликам, которые Google показала во время презентации, Live также очень похож на недавно обновленный ChatGPT от OpenAI.

Ключевое различие между новым ChatGPT и Gemini Live заключается в том, что решение от Google не будет бесплатным. После запуска Live будет эксклюзивом для Gemini Advanced, более сложной версии Gemini, которая доступна подписчикам плана Google One AI Premium Plan, стоимостью 20 долларов в месяц.

Возможно, в качестве отсылки к очкам Meta✴, в одном из демонстрационных роликов Google был показан человек в AR-очках, оснащенных приложением, похожим на Gemini Live. Правда, компания Google, желая избежать очередного провала в сфере умных очков, отказалась сообщить, появятся ли этот или подобный продукт с генеративным ИИ на рынке в ближайшем будущем.

Google Research и исследовательская лаборатория Google в области искусственного интеллекта DeepMind сообщили подробности о семействе передовых больших языковых моделей Med-Gemini, разработанных для применения в сфере здравоохранения.

Источник изображения: geralt/Pixabay

ИИ-модели всё ещё находятся на стадии исследования, но авторы разработок утверждают, что Med-Gemini, основанные на модели Google Gemini, превосходят конкурирующие модели, такие как GPT-4 от OpenAI, обладают огромным потенциалом в клинической диагностике и превосходят отраслевые стандарты в 14 популярных профильных бенчмарках. В частности, в тесте MedQA (USMLE) модель Med-Gemini достигла точности 91,1 %, используя стратегию поиска, основанную на неопределённости, превзойдя медицинскую LLM Med-PaLM 2 компании Google на 4,5 %. Набор моделей также превзошёл людей в обобщении медицинских текстов и составлении рекомендаций, причём врачи в половине случаев оценивали ответы Med-Gemini-M 1.0 как хорошие или даже лучше, чем ответы экспертов.

Med-Gemini — это семейство больших мультимодальных моделей (LMM), каждая из которых имеет своё предназначение. В отличие от больших языковых моделей, которые «демонстрируют неоптимальные клинические рассуждения в условиях неопределённости», страдают галлюцинациями и предвзятостью, Med-Gemini дают «фактически более точные, надёжные и детальные результаты для сложных задач клинического обоснования», чем их конкуренты, включая GPT-4, утверждает Google.

По семи мультимодальным бенчмаркам, включая проверку по изображениям New England Journal of Medicine (NEJM), модель Med-Gemini показала гораздо лучшие результаты, чем GPT-4.

Чтобы проверить способность Med-Gemini понимать и рассуждать на основе длинной контекстной медицинской информации, исследователи с успехом выполнили с её помощью так называемую задачу поиска «иголки в стоге сена», используя большую общедоступную базу данных Medical Information Mart for Intensive Care (MIMIC-III), содержащую обезличенные данные о состоянии здоровья пациентов, поступивших в отделение интенсивной терапии.

Поддержка Med-Gemini эффективного поиска в базе данных электронных медицинских карт Electronic Health Record (EHR) позволит «значительно снизить когнитивную нагрузку и расширить возможности врачей за счёт эффективного извлечения и анализа важной информации из огромных объёмов данных пациентов», утверждает Google.

По словам исследователей, Med-Gemini также показывают хорошие результаты в медицинских тестах, медицинских знаниях, клинических рассуждениях, геномике, медицинской визуализации, медицинских записях и видео.

Вместе с тем Google заявила, что её модели нуждаются в большей доработке и специализации, прежде чем их можно будет использовать в здравоохранении.

С очередным обновлением большая языковая модель Google Gemini 1.5 Pro получила «уши»: в качестве входных данных она теперь воспринимает загружаемые аудиофайлы. Теперь ИИ может подготовить сводку пресс-конференции без её текстовой расшифровки. Новые функции добавились и в генератор изображений Imagen 2.

Источник изображения: blog.google

В ходе мероприятия Google Next компания объявила, что Gemini 1.5 Pro станет доступной для общественности через облачную платформу Vertex AI для разработки приложений искусственного интеллекта. Сейчас большинство пользователей может работать с моделями Gemini через одноимённый чат-бот. Самая мощная из них, Gemini Ultra, доступна с платным чат-ботом Gemini Advanced — она поддерживает длинные запросы, но уступает Gemini 1.5 Pro в скорости работы.

Новые возможности также получил генератор изображений Imagen 2 — теперь он может добавлять элементы на готовые изображения или удалять их. На всех картинках, которые создаёт Imagen 2, теперь ставится цифровой водяной знак SynthID, который указывает на их происхождение при проверке специальным инструментом, но остаётся невидимым для человеческого глаза.

Google добавила, что изучает способы согласовывать ответы ИИ с выдачей поисковой системы, чтобы предоставляемая им информация была актуальной. Это не всегда возможно для больших языковых моделей, и иногда преднамеренно: компания, например, не позволяет Gemini отвечать на вопросы, связанные с выборами в США.

Google открыла для некоторых участников программы бета-тестирования доступ к чату с большой языковой моделью ИИ Gemini в приложении «Google Сообщения». Для работы с этой функцией пользователь и его устройство должны отвечать ряду требований.

Источник изображения: blog.google

Участники программы тестирования могут переписываться с ИИ, который готов составлять для них тексты сообщений, обсуждать идеи, планировать мероприятия или просто общаться. Чтобы получить доступ к этой функции, необходимо не только быть участником программы бета-тестирования, но и выполнить ряд требований:

• совместимый Android-телефон (Pixel 6 или более поздний, Pixel Fold, Samsung Galaxy S22 или более поздний, Samsung Galaxy Z Flip или Z Fold);
• основной язык на телефоне — английский (или французский для жителей Канады);
• последняя версия приложения «Google Сообщения»;
• личный аккаунт Google без сторонних администраторов — семейных групп или Google Workspace;
• возраст от 18 лет;
• активная опция чатов RCS.

Пользователи, выбранные для тестирования Gemini, увидят соответствующий чат в списке сообщений или соответствующую опцию при нажатии на кнопку «Начать чат». При первом использовании этой функции приложение покажет инструкции с пояснениями, как она работает. Когда все настройки установлены, появляется возможность прямого общения с Gemini аналогично чату на сайте ИИ-помощника. Переписка с Gemini сохраняется в течение 72 часов, но есть возможность очистить её вручную или удалить отдельные запросы в соответствующем разделе настроек учётной записи.

Сегодня информационное агентство Bloomberg сообщило, что Alphabet и Apple «ведут активные переговоры» об использовании некоторых функций искусственного интеллекта Google Gemini в следующем поколении iPhone, которое будет представлено в 2024 году. После этого сообщения акции Alphabet и Apple подорожали более чем на 7 % и 2 % соответственно.

Источник изображения: Freepik

Генеральный директор Apple Тим Кук (Tim Cook) во время ежегодного собрания акционеров компании в феврале заявил, что Apple «инвестирует значительные средства» в искусственный интеллект. «Позже в этом году я с нетерпением жду возможности поделиться с вами тем, как мы откроем новые горизонты в области генеративного искусственного интеллекта, ещё одной технологии, которая, по нашему мнению, может переопределить будущее», — сказал Кук.

По данным источников Bloomberg, Apple также недавно провела переговоры с OpenAI, на которых рассмотрела возможность использования её моделей ИИ. Однако утверждается, что «обе стороны ещё не определились с условиями или брендом соглашения об ИИ, а также не определились с тем, как оно будет реализовано».

Следующее большое обновление Apple для iPhone, iOS 18, ожидается во время Всемирной конференции разработчиков. Именно тогда компания сможет больше рассказать о своих планах по внедрению генеративного искусственного интеллекта и последних новинках программного обеспечения для iPhone, которые потребители смогут увидеть осенью.

Другие информационные агентства не смогли независимо проверить сообщение Bloomberg. Apple отказалась от комментариев, Alphabet также не ответила на вопросы журналистов.

Выступая на мероприятии AGI House в минувшие выходные, соучредитель Google Сергей Брин (Sergey Brin) признал, что компания «определённо оплошала с генерацией изображений», сообщает Business Insider. Создаваемые Gemini исторически неточные изображения, по его мнению, могли возникнуть из-за недостаточно тщательного тестирования модели.

Источник изображения: wikipedia.org

Google ранее приостановила работу функции генератора изображений Gemini после того, как пользователи начали жаловаться на допускаемые искусственным интеллектом неточности, имеющие характер фальсификации истории в отношении расового неравенства. Чат-бот также подвергли критике за некоторые ответы в текстовом формате.

Брин прекратил работу в Google в 2019 году, но в описании Gemini он значится как один из основных разработчиков платформы. В начале 2023 года руководство Alphabet объявило в компании «красный код» из-за выхода ChatGPT — к работе были вынуждены вернуться Брин и другой соучредитель Google Ларри Пейдж (Larry Page). С тех пор Сергея неоднократно видели в штаб-квартире компании в Кремниевой долине — он принимал непосредственное участие в разработке стратегии Google в области ИИ. В AGI House Брин подтвердил, что «в некотором роде вернулся из отставки лишь потому, что траектория развития ИИ оказалась настолько захватывающей».

Некоторые критики Google преподнесли ошибки Gemini как последствия того, что сотрудники компании имеют одни и те же политические пристрастия, и это могло сказаться на качестве текстовых ответов чат-бота. Илон Маск (Elon Musk), в частности, заявил, что не смог добиться от Gemini чёткого ответа, кто хуже: он или Гитлер. В этой части Брин критику отверг. Он заявил, что любой основанный на ИИ чат-бот, включая ChatGPT или выпущенный тем же Маском Grok, с некоторой вероятностью выдаёт «весьма странные вещи», которые можно расценить как некоторые политические пристрастия. Но, по словам Брина, у разработчиков Gemini не было намерений закладывать ИИ какие-либо политические предпочтения.