Microsoft начала развёртывать новую версию функции Windows Ink, которая позволяет производить ручной ввод текста в любом доступном участке экрана Windows 11. Ранее функция была доступна в тестовой версии.

Источник изображения: Microsoft

Новые возможности появились с выпуском обновления KB5031455 в качестве предварительной версии для пользователей Windows 11. Для его получения необходимо зайти в раздел обновлений и выбрать в нём опцию «Получать последние обновления, как только они станут доступны» — все остальные получат его в ближайшие недели.

Владельцы устройств Surface со стилусом или любых других Windows-планшетов с поддержкой Windows Ink смогут производить рукописный ввод в любое доступное текстовое поле Windows 11. Пока функция работает лишь для пользователей, у которых выбран американский английский, но в ближайшее время ассортимент поддерживаемых языков расширится.

Microsoft повысила точность распознавания рукописного ввода, добавила жесты для удаления, выбора, объединения и разделения слов. Есть также жест для перевода части текста на новую строку. Обновление KB5031455 также включает исправления ошибок Windows 11, в том числе утечки памяти в ctfmon.exe, улучшение работы функции Dynamic Lighting и многое другое.

Специалисты Корнеллского колледжа вычислительной техники и информационных наук имени Энн С. Бауэрс представили инструмент программирования на основе распознавания рукописного текста. Мостиком между рукописной и текстовой частью служит алгоритм машинного обучения, который связывает одно с другим и отчасти позволяет программировать на интуитивном уровне. Сделанные от руки графики и диаграммы транслируются в машинный код и встраиваются в программу.

Источник изображения: cornell.edu

«Интерфейс на основе пера, названный Notate, позволяет пользователям вычислительных цифровых блокнотов — таких как блокноты Jupyter, которые базируются в интернете и являются интерактивными — открывать поля для рисования и писать диаграммы от руки в строках традиционного оцифрованного компьютерного кода», — сказано в пресс-релизе университета.

Рукописный и текстовый контексты программирования собирает модель глубокого машинного обучения. В одном из примеров пользователи рисовали схемы квантовых цепей на полях кода блокнота Jupyter, а ИИ связывал рисунки с набранным программным кодом. Связь осуществляется в обоих направлениях: как рукописного текста с набранным кодом, так и в обратном порядке.

«Подобная система отлично подошла бы для науки о данных, в частности, для создания графиков и диаграмм, которые затем взаимодействуют с текстовым кодом, — сказал один из авторов проекта. — Наша работа показывает, что нынешняя инфраструктура программирования фактически сдерживает нас. Люди готовы к таким возможностям, а разработчики интерфейсов для набора кода должны принять это к сведению и поддерживать изображения и графические интерфейсы внутри кода».