Microsoft стремится интегрировать максимальное количество ИИ-функций в свой веб-обозреватель. Новую порцию ИИ-улучшений получил и встроенный в Microsoft Edge инструмент для чтения документов PDF. ИИ-функция, добавленная в Copilot, сканирует документ, выделяя ключевые слова и фразы, а затем предоставляет пользователю дополнительную информацию. Обработка, вероятно, производится на серверах Microsoft, что может нарушить конфиденциальность.

Источник изображения: Microsoft

Новый инструмент доступен при нажатии кнопки, появившейся рядом с существующей кнопкой «Спросить Copilot» в интерфейсе PDF-ридера. Она запускает сканирование всего PDF-документа для генерации соответствующих ключевых слов и фраз. Затем пользователь может выбрать любое из них, чтобы открыть боковую панель Copilot в браузере и получить больше контекста или информации, связанной с этим ключевым словом.

Содержимое PDF-файла, вероятно, обрабатывается и анализируется серверами Microsoft, что потенциально может привести к утечке конфиденциальной информации. Скорее всего, при обработке документов также будет производиться масштабный сбор данных для улучшения модели ИИ и изучения пользовательского опыта. Стоит дважды подумать, прежде чем использовать новую функцию для обработки документов с чувствительной информацией, например, налоговых форм или финансовых договоров.

Весьма вероятно, что в ближайшее время Microsoft расширит область применения новой ИИ-функции, добавив в список обрабатываемых файлов документы Word, электронные таблицы Excel и презентации PowerPoint.

Эта функция — лишь одна из нескольких возможностей на базе ИИ, которые были добавлены в Edge. Ранее обозреватель получил функцию интеллектуального поиска, которая обнаруживает связанные совпадения и слова, что упрощает поиск информации на странице. «Генератор тем» на базе ИИ преобразует текстовые подсказки в визуальные дизайны. ИИ даже научился автоматически присваивать названия группам вкладок для эффективного просмотра.

Сейчас, если судить по предварительной сборке Canary, Microsoft работает над улучшением способности ИИ в Edge предлагать пользователю сайты для просмотра. Точная природа и функциональность этих нововведений пока не известна, но, учитывая стремление Microsoft к массированному внедрению ИИ везде, где только можно, рано или поздно они появятся.

На ежегодной конференции для разработчиков Microsoft Build 2023 главными темами для обсуждения станут искусственный интеллект, ИИ-чат-бот Bing Chat и новые инструменты для разработчиков, использующих Windows, GitHub и Windows Terminal. Microsoft обещает добавить искусственный интеллект практически во все ответвления Windows, а также заменить Cortana на Capilot.

Источник изображений: Microsoft

Новые ИИ-плагины

Microsoft заявила, что теперь будет использовать тот же стандарт ИИ-плагинов, что и её партнёры из OpenAI. Это позволит разработчикам создавать функционально совместимые плагины для ChatGPT, Bing Chat, Dynamics 365 Copilot и Microsoft 365 Copilot. Microsoft также объявила о поддержке новых плагинов для Bing Chat. Среди недавно анонсированных дополнений — плагины для Instacart, Kayak, Redfin, Zillow, Klarna, OpenTable, WolframAlpha и многие другие. Глава отдела коммуникаций Фрэнк Шоу (Frank Shaw) сообщил прессе, что в рамках Microsoft 365 Copilot на конференции Build будет анонсировано более 50 плагинов, в том числе решения от Atlassian, Adobe, Thomas Reuters и Mural, а к моменту широкомасштабного выхода Copilot их будет «тысячи».

Copilot для Edge и Windows 11

Microsoft перенесёт некоторые из своих функций Copilot, которые в настоящее время находятся в закрытом доступе для Microsoft 365, в браузер Edge. ИИ-помощник Copilot уже использует большие языковые модели для ответов на запросы приложений Microsoft 365, таких как Excel, Word, Teams, Outlook и PowerPoint. Теперь Copilot будет работать и с Edge, поэтому пользователи смогут использовать ИИ в сочетании с веб-браузером. Windows 11 будет использовать Bing Chat наряду со сторонними и собственными плагинами Microsoft. В Windows помощник Copilot заменит Cortana и позволит людям изменять настройки, открывать приложения и выполнять другие действия с помощью искусственного интеллекта, а также подключать Bing Chat для ответов на вопросы из интернета.

Криптографическая маркировка ИИ-контента

По аналогии с Google, редмондская компания добавит в Bing Image Creator и Microsoft Designer функцию «подтверждения подлинности медиа». Технология Microsoft будет использовать криптографические методы для «маркировки и подписи контента, созданного ИИ, с метаданными о его происхождении». Компания утверждает, что маркировка будет соответствовать стандартам, установленным Коалицией по проверке достоверности и подлинности контента (C2PA), соучредителем которой является Microsoft. Функция маркировки контента будет запущена в «ближайшие месяцы» с поддержкой «основных форматов изображений и видео».

ИИ-хаб в Microsoft Store

В Microsoft Store появится раздел, специально предназначенный для приложений, связанных с искусственным интеллектом. Разработчики смогут представлять свои наработки, ориентированные на ИИ, для включения в раздел. Помимо этого, отзывы в магазине приложений теперь будут сканироваться искусственным интеллектом, который будет их компилировать и подводить итоги. Кроме того, разработчики смогут добавлять к страничкам своих продуктов сгенерированные ИИ предложения ключевых слов для улучшения поисковой оптимизации.

Dev Home для разработчиков

Помимо инструментов искусственного интеллекта, Microsoft также удвоила роль Windows как инструмента для разработчиков с помощью новой функции под названием Dev Home. Нововведение позволит пользователям тонко настраивать систему, подключаться к GitHub, создавать дэшборды и другие расширения, а также использовать виджеты GitHub и отслеживать производительность CPU и GPU. Microsoft также добавляет конфигурацию WinGet в Windows Package Manager, чтобы сократить время установки с нескольких дней до нескольких часов. Файл конфигурации WinGet гарантирует, что вы получите нужную версию пакетов программного обеспечения и фреймворков.

Для разработчиков появится новый том хранения данных, Dev Drive, который, по словам Microsoft, основан на устойчивой файловой системе (ReFS). Ну и конечно же, инструменты разработчиков также получат поддержку ИИ. Windows Terminal получит поддержку GitHub Copilot X, и сможет использовать «экспериментальный опыт чата», чтобы узнать больше об ошибках, получить рекомендации или автоматизировать действия во всей строке Terminal. Microsoft говорит, что также хочет добавить ИИ в стиле GitHub Copilot в другие инструменты разработчика, такие как WinDBG.

Вероятно, больше о новых функциях можно будет узнать с выступлением генерального директора Microsoft Сатьи Наделлы (Satya Nadella) во время открывающей презентации Microsoft Build сегодня в 19:00.

Microsoft выпустила обновлённый браузер Edge 111 с интегрированным ИИ-ассистентом Copilot, построенным на базе технологий ChatGPT. Пока доступ к новинке получили только те пользователи, которые уже имеют доступ к боту Bing. Иконка помощника, расположенная в верхнему углу браузера, появилась у всех пользователей новой версии веб-обозревателя, но не у всех она полноценно функционирует.

Источник изображения: Microsoft

Открыв боковую панель нажатием на иконку с логотипом Bing Chat, можно выбрать режим общения бота — «точный», «креативный» или «сбалансированный». Характер ответов Bing задаётся в соответствии с названиями выбранного режима. Кроме того, опционально можно разрешить боту читать содержимое страницы, на которой находится пользователь, — это, например, позволяет обобщить её содержимое в коротком тексте.

Настроив бот, можно перейти на вкладку Chat для непосредственно общения, для этого не потребуется выходить на сайт поисковика и «собеседник» будет доступен в любую секунду. Стоит помнить, что иногда подобные боты делают вопиющие ошибки при разговорах на самые разные темы, поэтому вызывающую малейшие сомнения информацию следует тщательно проверять.

Вкладка Insights позволяет получить информацию о кратком содержании страницы со ссылками. По данным тех, кто уже воспользовался новой функцией, такой инструмент лучше подойдёт для поиска ссылок на дополнительные источники информации, а если пользователь хочет получить краткое резюме, стоит вернуться во вкладку Chat и поставить соответствующую задачу.

Более полезна вкладка Compose, на которой можно создавать всевозможный контент. Задав Bing тему, можно настроить несколько параметров будущего текста, включая его тон и объём. По некоторым данным, при выборе «длинного» текста, речь идёт о нескольких сотнях слов. Можно выбрать, какой тип материала необходимо получить: электронное письмо, пост для блога или, например, просто список идей. Стоит помнить, что идеи у Bing могут быть самыми разными, и далеко не всегда они отвечают ожиданиям пользователей. По данным экспертов, появления нового потрясающего романа или стихотворения ожидать пока не стоит, тексты генерируются «на уровне копирайтера или студента».

Источник изображения: Mark Hachman/IDG

Тем не менее, готовый материал будет «прямолинейным» и «преимущественно точным». Интересно всего то, что на получение ответа уходит всего несколько секунд. Другими словами, получив ответ на запрос, пользователь может легко отредактировать информацию и получить отдельную страницу для сайта или за несколько часов подготовить эссе.

Не менее важно, что Copilot способен генерировать материалы вроде рабочих сопроводительных писем, которые сложно составлять, но довольно легко править. Ещё одной важной функцией является возможность генерировать идеи — находка для тех, кто пребывает в творческом кризисе.

Решения на основе чат-ботов распространяются повсеместно. Так, недавно представлена первая версия смарт-часов, имеющая интегрированного умного помощника.