Google представила новую версию платформы искусственного интеллекта Gemini 2.0, с помощью которой можно создавать ИИ-агентов для советов и подсказок в видеоиграх. Агенты способны анализировать игровой процесс и предлагать оптимальные стратегии, а пользователи смогут получать рекомендации в режиме реального времени.

Источник изображения: Supercell, theverge.com

Как сообщают в блоге компании генеральный директор Google DeepMind Демис Хассабис (Demis Hassabis) и технический директор Корай Кавукчуоглу (Koray Kavukcuoglu), агенты «делают выводы об игре, основываясь исключительно на действиях на экране, и предлагают решения в режиме реального времени». Кроме того, они могут использовать поиск Google по базам знаний для предоставления более полной информации. Агенты уже тестируются в популярных играх, таких как Clash of Clans и Hay Day от Supercell. Однако, как пишет The Verge, технология находится на ранней стадии разработки, и пока не ясно, насколько полезными такие наставники окажутся для игроков.

Помимо помощи в видеоиграх, Google развивает и другие направления применения Gemini 2.0. Например, ведётся работа над проектом Genie 2, который создаёт виртуальные игровые миры на основе лишь одного изображения. Пока эти миры остаются стабильными только около минуты, однако эксперты видят большой потенциал технологии.

Также компания представила мультимодальные возможности Gemini 2.0 Flash, которые уже доступны разработчикам через API в Google AI Studio и Vertex AI. Новая версия отличается высокой скоростью работы, улучшенной обработкой данных и способностью генерировать изображения и текст, а также преобразовывать текст в речь на нескольких языках. Эти функции уже тестируются ранними партнёрами, а в январе платформа станет доступна широкой аудитории.

Среди других проектов можно выделить Project Astra, Mariner и Jules. Project Astra, созданный для использования на Android-устройствах, был улучшен с помощью Gemini 2.0. Теперь ассистент на базе Astra может разговаривать на нескольких языках, использовать Google Search, Maps и Lens, а также запоминать больше данных, сохраняя при этом конфиденциальность. Project Mariner исследует, как ИИ может помогать в браузере, распознавая текст, изображения, код и другие элементы интерфейса, а Jules предназначен для помощи разработчикам в их рабочих процессах на GitHub.

ИИ-агенты также могут применяться в физическом мире. Исследования Google показывают, что Gemini 2.0 способен использовать пространственное мышление в робототехнике. Хотя эти разработки находятся на ранней стадии, сама компания видит большой потенциал в создании агентов, которые способны взаимодействовать с реальной средой.

Чтобы минимизировать риски и обеспечить безопасность своих ИИ-сервисов, компания проводит масштабные тестирования, сотрудничает с доверенными тестировщиками и внешними экспертами. В ближайшем будущем Google планирует интегрировать возможности Gemini 2.0 во все свои продукты, включая мобильное приложение Gemini.

Компания Google представила новый ИИ-инструмент под названием Deep Research, который позволяет чат-боту Gemini проводить тщательный веб-поиск по заданной теме вместо пользователя и составлять детальный отчёт на основе обнаруженной информации.

Источник изображений: Google

В настоящий момент Deep Research доступен только для платных подписчиков Gemini Advanced и только на английском языке. Для его активации необходимо выбрать в Gemini в качестве модели «Gemini 1.5 Pro с Deep Research».

При наличии доступа можно попросить Gemini провести исследование на определённую тему. После этого чат-бот составит «план поиска», который можно отредактировать или сразу одобрить. По словам Google, Gemini начнет своё исследование с «поиска интересных фрагментов информации» в интернете, а затем выполнит связанный поиск — процесс, который он повторяет несколько раз.

Когда исследование будет завершено, Gemini выдаст отчёт о своих «ключевых выводах» со ссылками на веб-сайты, где была найдена информация. Пользователь может попросить расширить определённые области поиска, подправить отчёт, а также экспортировать сгенерированное ИИ-исследование в Google Docs. Всё это напоминает функцию Pages, предлагаемую поисковой системой ИИ Perplexity, которая генерирует пользовательскую веб-страницу на основе запроса пользователя.

Google представила Deep Research в рамках более широкого анонса Gemini 2.0 — новой модели для эпохи «агентного» ИИ, или систем, которые способны заменить пользователя в рутинных операциях. Deep Research является лишь одним из примеров ИИ-агентов Google. Другие компании, работающие в сфере ИИ, также разрабатывают аналогичные решения.

Вместе с анонсом Deep Research компания Google также объявила, что Gemini Flash 2.0 — более быстрая версия чат-бота следующего поколения — стала доступна для разработчиков.

Совершенствование больших языковых моделей, лежащих в основе ИИ-ассистента Gemini, уже позволило Google предложить ограниченному кругу создателей видеоконтента функцию автоматического дубляжа их роликов на различных языках. Теперь доступ к этой возможности расширен для авторов видеороликов познавательного и образовательного содержания.

Источник изображения: Unsplash, Bhautik Patel

Как отмечает TechCrunch, сервис YouTube объявил о расширении поддержки функции автоматического дубляжа видеоконтента на сотни тысяч каналов, которые посвящены познавательным целям. Получить автоматический дубляж видео могут те авторы контента, которые, например, ведут кулинарные блоги или делятся секретами мастерства в различных сферах. В перспективе функция охватит и те каналы, которые специализируются на других типах контента.

Чтобы воспользоваться новшеством, автору видео достаточно загрузить исходный видеоролик в обычном режиме. YouTube сам определит язык исходного видео и создаст дублированные версии на различных языках, если пользователь поставил необходимую отметку в интерфейсе страницы загрузки. Пока поддерживаются английский, французский, немецкий, индийский, индонезийский, итальянский, японский, португальский и испанский языки.

Google предупреждает, что возможности Gemini по воссозданию человеческой речи на различных языках пока ограничены. Ассистент не только может допускать грамматические, стилистические и фонетические ошибки, но и отличаться от тембра владельца исходного голоса в видеоролике. В дальнейшем YouTube обещает добавить речи своего автоматического переводчика экспрессивности, что позволит лучше отображать эмоциональность оригинала и даже повторять окружающие звуки исходной аудиодорожки.

Компания Google выпустила функциональное обновление для мобильной ОС Android и устройств семейства Pixel. Разработчики улучшили инструмент генерации субтитров к видео, обновили приложение Lookout, а также добавили несколько ИИ-функций, основой для которых стала нейросеть Gemini 1.5. Все нововведения будут доступны владельцам устройств с Android 15, но некоторые функции также появятся в смартфонах с более старыми версиями программной платформы.

Источник изображений: Google

Разработчики улучшили приложение Lookout, с помощью которого люди с нарушениями зрения могут получить в формате аудио описания разных объектов и фотографий. Google интегрировала нейросеть Gemini 1.5 в приложение, благодаря чему пользователи смогут получать более качественные и детальные описания фотографий, сделанных или открытых с помощью Lookout. Это нововведение стало очередным шагом на пути Google по интеграции большего количества ИИ-функций в приложение Lookout, о чём компания объявила на прошедшей ранее в этом году конференции I/O.

Обновление Android принесёт с собой улучшенные субтитры для видео. Теперь помимо расшифровки речи субтитры будут отображать сопутствующие звуки и эмоции, например, аплодисменты или вздохи. Это нововведение касается всей системы Android и будет доступно везде, где есть возможность активации функции субтитров.

Google продолжает развивать новый ИИ-помощник Gemini Assistant. На этот раз он получил расширение Spotify, позволяющее воспроизводить аудио из музыкального сервиса через Gemini. На момент дебюта Gemini Assistant в нём отсутствовала поддержка ряда базовых функций, таких как воспроизведение музыки из Spotify. Теперь же это изменится, и новый ИИ-помощник станет более похожим на стандартный Google Assistant, который уже несколько лет может проигрывать аудио из Spotify. Gemini также получит доступ к расширению «Утилиты», благодаря чему ИИ-ассистент сможет выполнять больше действий от имени пользователя, например, совершать звонки, отправлять электронные письма и менять настройки устройства.

Среди других примечательных особенностей пакета обновлений отметим появление возможности создания стикеров с помощью Emoji Kitchen внутри Gboard, возможности делиться фотографиями с помощью QR-кода в Quick Share, а также улучшенного инструмента сканирования квитанций и других документов в «Google Диске». Все упомянутые функции будут доступны на устройствах с Android 15, но некоторые из них также появятся в более старых версиях ОС.

Декабрьское обновление принесёт несколько больше нововведений на смартфоны Pixel. В дополнение к перечисленным функциям владельцы смартфонов Google смогут задействовать улучшенную функцию проверки входящих вызовов. Пока звонящий разговаривает с голосовым помощником пользователь сможет включиться в беседу, чтобы отвечать на задаваемые звонящим вопросы от имени помощника, не принимая при этом вызов. Разработчики также обновили приложение Screenshots, улучшив функцию Circle to Search и добавив возможность сохранения в приложении результатов поиска.

Система искусственного интеллекта Google Gemini получит новые возможности благодаря API App Functions, который позволяет выполнять действия в приложениях без их открытия. По данным The Verge, новая функция обнаружена в коде Android 16 для разработчиков и может стать доступна для всех пользователей уже в следующем году.

Источник изображения: Solen Feyissa / Unsplash

Функция App Functions, основанная на программном интерфейсе API (Application programming interface), может дать ассистенту Gemini возможность выполнять действия внутри приложений. На сайте разработчиков Google описывает app functions как «конкретную функциональность, которую приложение предоставляет системе, и которая одновременно может быть интегрирована в различные системные функции».

И хоть пока это звучит довольно расплывчато, Мишаал Рахман (Mishaal Rahman) из Android Authority приводит пример из документации, который проясняет суть. Например, разработчики приложений смогут открывать доступ посредством API к отдельным действиям, как, например, заказ еды, а Gemini сможет сделать заказ, не открывая приложения.

Интересно, что подобную функцию разрабатывает и Apple. В iOS 18 Siri также сможет выполнять действия внутри приложений через обновлённый фреймворк app intents. Например, пользователи смогут заказать что-либо в магазине через Siri, если разработчики определённого приложения подключат такую возможность. Однако внедрение этой функции в случае с Apple ожидается не раньше весны 2025 года.

Стоит отметить, что способность «выполнять действия за пользователя» изначально была одной из главных целей умных ассистентов, но её реализация начала появляться лишь недавно. Пока Gemini в основном ограничен поиском информации в Gmail или Google Maps. Что касается голосового помощника Siri в iOS 18, то он получил интеграцию с ChatGPT, за счёт чего можно задавать более сложные вопросы, но с выполнением действий Siri пока справляется хуже.

Судя по всему, и Google, и Apple закладывают фундамент для более «умных» ассистентов, которые смогут выполнять сложные задачи внутри приложений, и это произойдёт уже очень скоро.

Бесплатное приложение ИИ-чат-бота Google Gemini, как и ожидалось, появилось в магазине приложений App Store компании Apple по всему миру. При его запуске появляется окно чата со списком предыдущих диалогов пользователя, который может отправлять запросы с помощью текста, голоса или камеры.

Источник изображений: Apple

До этого пользователям iOS-устройств для доступа к Gemini приходилось открывать приложение Google и переключаться на соответствующую вкладку. В качестве альтернативы, в сентябре был обновлен виджет главного экрана приложения Google с настраиваемыми ярлыками, которые позволили напрямую получать доступ к Gemini одним нажатием.

Приложение Gemini для iOS имеет новую функцию Gemini Live, обеспечивающую доступ к более интерактивному и разговорному режиму чата-бота, который похож на голосовой режим ChatGPT и доступен на платформе Android. Gemini Live отображается как на Dynamic Island iPhone, так и на экране блокировки.

Как и все другие чат-боты, не поддерживающие Siri, Gemini имеет некоторые ограничения. Он не может менять настройки или получать доступ к другим приложениям. Но он может получать доступ к программным решениям Google. Например, его можно попросить воспроизвести музыку, и он запустит YouTube Music. Также можно его попросить указать дорогу, и он откроет картографический сервис Google Maps.

Три ведущие компании в области искусственного интеллекта столкнулись с ощутимым снижением отдачи от своих дорогостоящих усилий по разработке новых систем ИИ. Новая модель OpenAI, известная как Orion, не достигла желаемой компанией производительности, предстоящая итерация Google Gemini не оправдывает ожиданий, а Anthropic столкнулась с отставанием в графике выпуска своей модели Claude под названием 3.5 Opus.

Источник изображения: unsplash.com

После многих лет стремительного выпуска всё более сложных продуктов ИИ три ведущие в этой сфере компании наблюдают убывающую отдачу от дорогостоящих усилий по созданию новых моделей. Становится все труднее находить свежие, ещё неиспользованные источники высококачественных данных для обучения более продвинутых систем ИИ. А нынешних весьма скромных улучшений недостаточно, чтобы окупить огромные затраты, связанные с созданием и эксплуатацией новых моделей, как и оправдать ожидания от выпуска новых продуктов.

Так, OpenAI утверждала, что находится на пороге важной вехи. В сентябре завершился начальный раунд обучения для новой масштабной модели Orion, которая должна была приблизится к созданию мощного ИИ, превосходящего людей. Но ожидания компании, по утверждению осведомлённых источников, не оправдались. Orion не смогла продемонстрировать прорыва, который ранее показала модель GPT-4 по сравнению с GPT-3.5.

Источник изображения: Pixabay

Anthropic, как и её конкуренты, столкнулась с трудностями в процессе разработки и обучения 3.5 Opus. По словам инсайдеров, модель 3.5 Opus показала себя лучше, чем старая версия, но не так значительно, как ожидалось, учитывая размер модели и затраты на её создание и запуск.

Эти проблемы бросают вызов утвердившемуся в Кремниевой долине мнению о масштабируемости ИИ. Приверженцам глобального внедрения ИИ приходится признать, что бо́льшая вычислительная мощность, увеличенный объём данных и более крупные модели пока не прокладывают путь к технологическому прорыву в области ИИ.

Источник изображения: Nvidia

Эксперты высказывают обоснованные сомнения в окупаемости крупных инвестиций в ИИ и достижимости всеобъемлющей цели, к которой стремятся разработчики ИИ-моделей, — создания общего искусственного интеллекта (AGI). Этот термин обычно применяется к гипотетическим ИИ-системам, способным соответствовать или превосходить человека в большинстве интеллектуальных задач. Руководители OpenAI и Anthropic ранее заявляли, что AGI может появиться уже через несколько лет.

Технология, лежащая в основе ChatGPT и конкурирующих ИИ-чат-ботов, была создана на основе данных из социальных сетей, онлайн-комментариев, книг и других источников из интернета. Этих данных хватило для создания продуктов, генерирующих суррогатные эссе и поэмы, но для разработки систем ИИ, которые превзойдут интеллектом лауреатов Нобелевской премии — как надеются некоторые компании, — могут потребоваться другие источники данных, помимо сообщений в Википедии и субтитров YouTube.

Источник изображения: unsplash.com

OpenAI была вынуждена заключить соглашения с издателями, чтобы удовлетворить хотя бы часть потребности в высококачественных данных, а также адаптироваться к растущему юридическому давлению со стороны правообладателей контента, используемого для обучения ИИ. Отмечается высокий спрос на рынке труда на специалистов с высшим образованием, которые могут маркировать данные, связанные с их областью компетенции. Это помогает сделать обученные ИИ-системы более эффективными в ответах на запросы.

Подобные усилия обходятся дороже и требуют на порядок больше времени, чем простое индексирование интернета. Поэтому технологические компании обращаются к синтетическим данным, таким как сгенерированные компьютером изображения или текст, имитирующие контент, созданный людьми. Однако у такого подхода есть свои ограничения, так как трудно добиться качественного улучшения при использовании подобных данных для обучения ИИ.

Тем не менее компании ИИ продолжают следовать принципу «чем больше, тем лучше». В стремлении создавать продукты, приближающиеся к уровню человеческого интеллекта, технологические компании увеличивают объём вычислительной мощности, данных и времени, затрачиваемых на обучение новых моделей, что приводит к росту расходов. Генеральный директор Anthropic Дарио Амодеи (Dario Amodei) заявил, что в этом году компании потратят $100 млн на обучение новейших моделей, а в ближайшие годы эта сумма может достичь $100 млрд.

Источник изображения: unsplash.com

Безусловно, потенциал для улучшения моделей ИИ, помимо масштабирования, существует. Например, для своей новой модели Orion OpenAI применяет многомесячный процесс пост-обучения. Эта процедура включает использование обратной связи от людей для улучшения ответов и уточнения «эмоциональной окраски» взаимодействия с пользователями.

Разработчики ИИ-моделей оказываются перед выбором: либо предлагать старые модели с дополнительными улучшениями, либо запускать чрезвычайно дорогие новые версии, которые могут работать ненамного лучше. По мере роста затрат растут и ожидания — стремительное развитие ИИ на начальном этапе создало завышенные ожидания как у специалистов, так и у инвесторов.

Waymo, дочерняя компания Alphabet, представила новый подход к обучению своих беспилотных транспортных средств, используя модель Gemini — большую мультимодальную языковую модель (MLLM) от Google. Модель улучшит навигацию автономных автомобилей и позволит лучше справляться со сложными дорожными ситуациями.

Источник изображения: waymo.com

В новом исследовательском докладе Waymo дала определение своей разработке как «сквозной мультимодальной модели для автономного вождения» (EMMA), которая обрабатывает данные с сенсоров и помогает роботакси принимать решения о направлении движения, избегая препятствий. Как пишет The Verge, Waymo давно подчёркивала своё стратегическое преимущество благодаря доступу к научным исследованиям в области искусственного интеллекта (ИИ) Google DeepMind, ранее принадлежавшей британской компании DeepMind Technologies.

Новая система EMMA представляет собой принципиально иной подход к обучению автономных транспортных средств. Вместо традиционных модульных систем, которые разделяют функции на восприятие, планирование маршрута и другие задачи, EMMA предлагает единый подход, который позволит обрабатывать данные комплексно, поможет избежать ошибок, возникающих при передаче данных между модулями, и улучшит адаптацию к новым, незнакомым условиям на дороге в реальном масштабе времени.

Одним из ключевых преимуществ использования моделей MLLM, в частности Gemini, является их способность к обобщению знаний, почерпнутых из огромных объёмов данных, полученных из интернета. Это позволяет моделям лучше адаптироваться к нестандартным ситуациям на дороге, таким как неожиданное появление животных или ремонтные работы. Кроме того, модели, обученные на основе Gemini, способны к «цепочке рассуждений». Это метод, который помогает разбивать сложные задачи на последовательные логические шаги, улучшая процесс принятия решений.

Несмотря на успехи, Waymo признает, что EMMA имеет свои ограничения. Например, модель пока не поддерживает обработку 3D-данных с таких сенсоров, как лидар или радар, из-за высокой вычислительной сложности. Кроме того, EMMA способна обрабатывать лишь ограниченное количество кадров изображений одновременно. Подчёркивается, что потребуется дальнейшее исследование для преодоления всех этих ограничений перед полноценным внедрением модели в реальных условиях.

Waymo также осознает и риски, связанные с использованием MLLM в управлении автономными транспортными средствами. Модели, подобные Gemini, могут допускать ошибки или «галлюцинировать» в простых задачах, что конечно недопустимо на дороге. Тем не менее, есть надежда, что дальнейшие исследования и улучшения архитектуры ИИ-моделей для автономного вождения преодолеют эти проблемы.

Google представила технологию для маркировки и распознавания текстов, созданных генеративными моделями ИИ. Инструмент под названием SynthID Text не повлияет на качество и скорость генерации контента, и будет доступен совершенно бесплатно для разработчиков и компаний.

Источник изображения: Copilot

SynthID Text работает следующим образом. При генерации текста модель предсказывает, какой «токен» (символ или слово) будет следующим, основываясь на вероятности появления каждого токена, и добавляет дополнительную информацию в распределение этих вероятностей, модулируя скорректированные символы. В конечном итоге из них формируется водяной знак (watermark), который помогает определить, был ли текст создан ИИ. «Окончательный паттерн вероятностей слов, выбранных моделью, в сочетании с изменёнными оценками вероятностей будет считаться водяным знаком», — объясняется в блоге компании.

Google утверждает, что SynthID Text, который уже весной был интегрирован в Gemini, не влияет на качество, точность или скорость генерации. При этом текст, который был обрезан, перефразирован или изменён может обрабатываться несколько хуже. Что касается фактов, то «в ответах на слишком определённые и однозначные вопросы меньше возможностей для корректировки распределения токенов без ущерба для фактической точности».

Стоит отметить, Google — не единственная компания, работающая над технологией нанесения водяных знаков на текст, созданный ИИ. Например, OpenAI также разрабатывала методы нанесения «вотермарков», но отложила их запуск из-за технических препятствий и коммерческих соображений.

Если технология будет широко внедрена, то возможно получится переломить ситуацию с неточными, но все более популярными «детекторами ИИ», которые ошибочно определяют студенческие работы или эссе как сгенерированные нейросетью. Как пишет TechCrunch, «вопрос остаётся открытым». Однако в некоторых странах уже принимаются меры. Например, правительство Китая ввело обязательную маркировку контента, созданного ИИ, а штат Калифорния (США) собирается последовать этому примеру.

Как Google пообещала в августе, модель искусственного интеллекта для генерации изображений стала доступной для всех пользователей службы Gemini.

Источник изображения: x.com/GeminiApp

Обновлённую модель Imagen 3, представленную в мае на мероприятии Google I/O 2024, по версии разработчика, отличают три аспекта:

• потрясающее качество изображения — чёткие детали, яркие цвета и уменьшенное число недостатков;
• реалистичные визуальные эффекты — яркие фотореалистичные детали;
• разнообразие стилей — от классического масла до современного цифрового искусства.

Для создания изображений пользователям необходимо использовать в запросах к Gemini слова вроде «нарисуй» или «создай»; можно указать желаемый стиль, например, «фотореалистичная акварель» или «мультяшная иллюстрация»; помогут и детальные пояснения. В ответ чат-бот пояснит, что картинка создаётся при помощи Imagen 3; кроме того, скачиваемый файл получит пометку SynthID. Воспользоваться генератором изображений могут и пользователи бесплатных учётных записей, но для них возможности пока ограничены — система откажется создавать картинки с людьми. Первыми доступ к Imagen 3 получили англоязычные пользователи подписок Gemini Advanced, Business и Enterprise.

С 1 октября Google сделала бесплатной работу с голосовым помощником Gemini Live на телефонах под управлением Android. Система помогает в управлении устройствами, ориентируется в происходящем на экране и генерирует тексты в различных приложениях.

Источник изображения: blog.google

Запуск Gemini Live производится долгим нажатием кнопки питания — вместо традиционного значка «Google Ассистента» появилась иконка с голубой звездой Gemini. Интеллектуальный помощник понимает, что происходит на экране — ему, например, можно задать вопрос о просматриваемом в настоящий момент видео на YouTube. В любом приложении он может создать изображение или текст. Ранее эти функции были доступны только пользователям подписки Gemini Advanced — в первый месяц она бесплатна, а в каждый последующий придётся отдавать $20. Если нажать и удерживать кнопку питания, появится всплывающее окно со значком сервиса в правом нижнем углу; далее потребуется изучить одностраничное руководство и выбрать мужской или женский голос с одним из диалектов английского языка.

В интерфейсе Gemini Live можно общаться с ИИ естественным образом, не беспокоясь о речевых ошибках, запинках или акценте, которые могли помешать «Google Ассистенту». При запущенном приложении микрофон по умолчанию включён — чтобы его отключить, придётся нажать соответствующие кнопки в интерфейсе. Расшифровки разговоров хранятся в журнале пользователя Gemini Apps в течение 72 часов. Для сравнения, представленная ранее функция Microsoft Copilot Vision не предполагает сохранения данных ни локально на устройстве, ни в облаке — они удаляются сразу по завершении работы с системой, уверяет разработчик.

Google запустила бесплатный голосовой режим Gemini Live для всех пользователей Android. Эта функция, доступная через приложение Gemini, позволяет вести голосовой диалог с ИИ-ассистентом в реальном времени, прерывать его ответы и выбирать различные голоса.

Источник изображения: Google Gemini App / X

Google впервые анонсировала Gemini Live на презентации Pixel 9 в прошлом месяце, но до сих пор эта функция была доступна только подписчикам Gemini Advanced. Как сообщает ресурс 9to5Google, для активации режима достаточно выбрать новую иконку в форме волны в правом нижнем углу интерфейса.

Gemini Live предлагает функциональность, схожую с голосовым чатом ChatGPT, но обладает рядом уникальных особенностей. Пользователи могут не только задавать вопросы голосом, но и прерывать ответы ИИ-ассистента в середине фразы, что позволяет вести с ним более естественный и динамичный диалог. Интерфейс предоставляет опции «hold» для приостановки ответа Gemini и «end» для завершения беседы, что даёт пользователю полный контроль над диалогом.

Для ещё большей персонализации взаимодействия с ИИ пользователи могут выбрать для ассистента один из понравившихся голосов. На данный момент Gemini Live работает только на английском языке, но Google уже сообщила о планах расширения языковой поддержки и разработки версии для iOS.

Компания Google скоро вернёт пользователям доступ к генератору картинок в ИИ-чат-боте Gemini. Функция была удалена из чат-бота в феврале из-за того, что что она допускала серьёзные исторические ошибки в изображении людей, связанные с расовыми и гендерными вопросами. К примеру, расовое разнообразие солдат по запросу «римский легион» — явный анахронизм.

Источник изображения: Google

Ранний доступ к новому генератору изображений Imagen 3 от Google откроется платным пользователям Gemini на тарифах Advanced, Business и Enterprise в ближайшие дни, сообщил в официальном блоге Google Дэйв Ситрон (Dave Citron), старший директор по продуктам Gemini. Изначально функция будет поддерживать запросы только на английском языке.

«Мы внесли технические исправления в продукт, а также поработали над более продвинутыми алгоритмами оценки и защитой от red-teaming-атак», — написал Ситрон.

В феврале этого года Google приостановила работу функцию генерации изображений в Gemini, объяснив это тем, что она предлагает «неточности» при генерации исторических изображений. Компания приняла решение направить генератор изображений Gemini на доработку менее чем через сутки после поступления первых жалоб.

По словам Ситрона, новый генератор Imagen 3 «не поддерживает создание фотореалистичных идентифицируемых лиц, изображений несовершеннолетний или чрезмерно кровавые, жестокие или сексуальные сцены».

«Конечно, как и в случае с любым генеративным инструментом ИИ, не каждое изображение, создаваемое Gemini, будет идеальным, но мы продолжим прислушиваться к отзывам пользователей и будем совершенствовать наш продукт».

Он также пообещал, что в дальнейшем пользоваться генератором изображений смогут больше людей, а сама функция получит поддержку дополнительных языков.

Google обновила инструменты системы искусственного интеллекта Gemini в Gmail — теперь ИИ поможет в доработке черновиков писем, которые пользователь уже написал. К присутствующим в Gmail функциям «Помощь в написании», «Формализация» и «Уточнение» добавилась опция «Доработать» (Polish).

Источник изображений: workspaceupdates.googleblog.com

Чтобы с большей очевидностью указать пользователям на наличие новых функций, Google добавила ярлыки на них прямо в текст письма в приложениях для Android и iOS. Инструменты доступны только для подписчиков Google One AI Premium и тех, кто заплатил за дополнение Gemini в Workspace. При переходе к написанию письма эти пользователи увидят ярлык «Помощь в написании», по нажатии на который Gemini сам пишет черновик. Когда в черновике набираются более 12 слов, появляется ссылка на новую функцию «Доработать мой черновик» (Refine my draft), оформленная серыми буквами под основным текстом.

Можно также провести большим пальцем по тексту, и система предложит выбор «Доработать», «Формализовать», «Дополнить» или, напротив, «Сократить». Gemini может и полностью переписать черновик. Если ярлык «Доработать мой черновик» не появляется, эта функция также доступна по нажатии кнопки со значком карандаша.

На презентации Pixel 9 компания Google объявила о запуске нового режима голосового чата для Gemini под названием «Gemini Live». Эта функция во многом напоминает функцию голосового чата ChatGPT, предлагая на выбор несколько вариантов голосов и возможность вести разговор в естественной манере, включая прерывание ответов ИИ в любое время.

Источник изображения: Google

Как поясняет TheVerge, общение с Gemini Live может происходить в свободной форме, позволяя прерывать ответы на полуслове, приостанавливать разговор не нажимая никаких кнопок и возобновлять его позднее. Функция также работает в фоновом режиме и при заблокированном экране смартфона. Интересно, что о планах запуска Gemini Live компания Google впервые объявила на своей конференции разработчиков I/O ранее в этом году, где также было сказано, что «Live» сможет интерпретировать видео в режиме реального времени.

В дополнение к этому, Google представила 10 новых голосов для Gemini, которые пользователи смогут выбрать по своему усмотрению. Функция начала развёртываться сегодня на устройствах Android, пока только на английском языке, но нам обещают, что в ближайшие недели Gemini Live станет доступен на iOS и получит поддержку дополнительных языков.

Источник изображения: Google

Помимо Gemini Live, анонсированы и другие функции для ИИ-ассистента, в частности возможность анализировать контекст экрана пользователя, что напоминает функцию ИИ, анонсированную недавно Apple на мероприятии WWDC. После того как пользователь выберет опцию «Ask about this screen» (Спросить о том, что изображено на экране) или «Ask about this video» (Спросить, что показано на видео), Gemini сможет предоставить информацию, включая извлечение деталей, например, пунктов назначения из туристических видео, для добавления в Google Maps.

Отметим, что Gemini Live будет доступен пока только для подписчиков Gemini Advanced.