Французский разработчик больших языковых моделей (LLM) Mistral AI объявил о выпуске нового API, который предназначен для обработки сложных PDF-документов. Mistral OCR — это API оптического распознавания символов (OCR), с помощью которого любой PDF-документ можно превратить в текстовый файл, чтобы облегчить его обработку алгоритмами на основе искусственного интеллекта.

Источник изображения: Scott Graham / Unsplash

Языковые модели, лежащие в основе популярных генеративных алгоритмов, таких как ChatGPT от OpenAI, особенно хорошо работают с необработанным текстом. Поэтому компании, которые намерены вводить собственные рабочие ИИ-процессы, знают о важности хранения и индексации данных в чистом формате, чтобы эту информацию можно было повторно использовать в процессе обработки ИИ-алгоритмами.

В отличие от многих API OCR, разработка Mistral представляет собой мультимодальный API, который способен распознавать не только текст, но также иллюстрации и фотографии, размещённые между текстовыми блоками. API OCR формирует ограничительные рамки вокруг обнаруженных графических элементов и включает их в вывод. В результате обработки PDF-документа с помощью Mistral OCR формируется отформатированный в Markdown текст, который ИИ-алгоритмы обрабатывают более эффективно.

Источник изображения: Mistral

«С годами в организациях накапливается множество документов, часто в формате PDF или в виде слайдов, которые недоступны для обработки LLM, особенно для систем RAG [Retrieval-Augmented Generation — техника получения и использования данных в качестве контекста для генеративных ИИ-алгоритмов]. Благодаря Mistral OCR наши клиенты могут преобразовывать сложные документы в читаемый контент на всех языках. Это важнейший шаг на пути к широкому внедрению ассистентов с искусственным интеллектом в компаниях, которым необходимо упростить доступ к обширной внутренней документации», — считает соучредитель и научный руководитель Mistral Гийом Лэмпл (Guillaume Lample).

Mistral OCR доступен на собственной платформе компании, а также в инфраструктуре облачных партнёров Mistral, таких как AWS, Azure и др. Для компаний, которые работают с конфиденциальными или секретными данными, Mistral предлагает версию API для локального развёртывания. В компании заявили, что Mistral OCR работает лучше, чем аналогичные API от Google, Microsoft или OpenAI. Компания протестировала свой API на сложных PDF-документах, в том числе содержащих математические выражения, сложные макеты и таблицы.

Старшеклассник Аллен Динг (Allen Ding), который ранее отметился запуском классической стрелялки Doom в файле PDF, усовершенствовал свой проект и встроил в файл PDF возможность запуска Linux.

Источник изображения: youtube.com/@vk6_

Этот проект — переосмысление возможностей JavaScript при работе с PDF. Его исходный код доступен на странице разработчика на GitHub, а опробовать LinuxPDF можно по этому адресу — потребуется браузер на базе Chromuim, такой как Chrome, Edge или Opera. LinuxPDF работает в эмуляторе RISC-V на базе TinyEMU; внутренние механизмы проекта имеют много общего с DoomPDF за авторством того же разработчика. Управление системой производится при помощи виртуальной клавиатуры под главным экраном.

Формат PDF разрабатывался для вывода текста и изображений, но поддерживается и запуск кода JavaScript. Программа Adobe Acrobat включает полную спецификацию JavaScript, в том числе функции 3D-рендеринга, обнаружения монитора и HTTP-запросов. Запускаемые через браузеры PDF-файлы несколько ограничены в возможностях, но и их хватает для запуска игр и операционных систем.

Запущенная через PDF система Linux отличается катастрофически низкой производительностью — загрузка ядра занимает около минуты, и исправить это не получится, потому что в Chromium встроена версия движка V8 без поддержки JIT-компилятора. По умолчанию система 32-битная, но на GitHub можно сделать форк проекта и создать 64-битный вариант, который, однако, будет работать ещё медленнее.

Microsoft стремится интегрировать максимальное количество ИИ-функций в свой веб-обозреватель. Новую порцию ИИ-улучшений получил и встроенный в Microsoft Edge инструмент для чтения документов PDF. ИИ-функция, добавленная в Copilot, сканирует документ, выделяя ключевые слова и фразы, а затем предоставляет пользователю дополнительную информацию. Обработка, вероятно, производится на серверах Microsoft, что может нарушить конфиденциальность.

Источник изображения: Microsoft

Новый инструмент доступен при нажатии кнопки, появившейся рядом с существующей кнопкой «Спросить Copilot» в интерфейсе PDF-ридера. Она запускает сканирование всего PDF-документа для генерации соответствующих ключевых слов и фраз. Затем пользователь может выбрать любое из них, чтобы открыть боковую панель Copilot в браузере и получить больше контекста или информации, связанной с этим ключевым словом.

Содержимое PDF-файла, вероятно, обрабатывается и анализируется серверами Microsoft, что потенциально может привести к утечке конфиденциальной информации. Скорее всего, при обработке документов также будет производиться масштабный сбор данных для улучшения модели ИИ и изучения пользовательского опыта. Стоит дважды подумать, прежде чем использовать новую функцию для обработки документов с чувствительной информацией, например, налоговых форм или финансовых договоров.

Весьма вероятно, что в ближайшее время Microsoft расширит область применения новой ИИ-функции, добавив в список обрабатываемых файлов документы Word, электронные таблицы Excel и презентации PowerPoint.

Эта функция — лишь одна из нескольких возможностей на базе ИИ, которые были добавлены в Edge. Ранее обозреватель получил функцию интеллектуального поиска, которая обнаруживает связанные совпадения и слова, что упрощает поиск информации на странице. «Генератор тем» на базе ИИ преобразует текстовые подсказки в визуальные дизайны. ИИ даже научился автоматически присваивать названия группам вкладок для эффективного просмотра.

Сейчас, если судить по предварительной сборке Canary, Microsoft работает над улучшением способности ИИ в Edge предлагать пользователю сайты для просмотра. Точная природа и функциональность этих нововведений пока не известна, но, учитывая стремление Microsoft к массированному внедрению ИИ везде, где только можно, рано или поздно они появятся.

Google в скором времени обещает упростить взаимодействие с PDF-файлами для людей с плохим зрением. Компания добавляет в свой браузер Chrome технологию OCR (оптическое распознавание символов), которая будет преобразовывать PDF-файлы в текст, что сделает их более доступными, особенно для программ чтения с экрана. Видимо, имеются в виду PDF-файлы, в которых текст представлен в виде изображения. Инструмент также будет предоставлять текстовые описания изображений.

Источник изображения: Pixabay

Google обещает, что функция преобразования PDF-файлов в текст станет доступна в «ближайшие месяцы». Компания также планирует расширить подобную функциональность за пределы Chrome в конце этого года, хотя и не сообщила, какие платформы могут получить обновление.

Нововведение от Google является частью более широкой образовательной инициативы, которая включает в себя лицензирование приложений для школьных Chromebook и бесплатный доступ к Adobe Express в США. Администраторы получат более жёсткий контроль над контентом, к которому учащиеся и преподаватели смогут получить доступ на своих Chromebook — они могут запретить учащимся копировать и вставлять текст с определённых сайтов, где используются генеративные инструменты искусственного интеллекта, которые могут помочь учащимся обмануть тесты. Также пользователям станет проще отключить камеру или микрофон независимо от того, где они находятся в Chrome OS.

Функция чтения PDF-файлов вслух в основном предназначена для образовательных заведений, где учащимся с проблемами зрения будет легче читать отсканированные учебные материалы или необходимые исследовательские статьи. Тем не менее, это также сделает интернет более доступным для широкой публики. Веб-сайты нередко помещают условия обслуживания или другую важную информацию в PDF-файлы без текстового слоя. Обновление сделает эту информацию доступной для большего числа пользователей.