Разработка Project Gameface от Google позволяет управлять игровым персонажем мимикой — моргая, хмурясь и улыбаясь

В последнее время ведётся всё больше работ над созданием контроллеров для людей с ограниченными возможностями, и Google работает над собственным решением, позволяющим вообще устранить контроллеры из игрового процесса. Как сообщают СМИ, в рамках инициативы Project Gameface можно будет управлять персонажами и процессами с помощью движений головы, а также мимики.

Источник изображения: Google

Основным механизмом, как и следует из названия, служит управление с помощью мимики. Хотя контроллеры вроде Microsoft Xbox Adaptive Controller значительно упрощают участие в игровом процессе благодаря особому дизайну и большим кнопкам и иным элементам управления, решение Google обеспечивает принципиально новые возможности.

Отслеживающая движения головы «мышь» придумана довольно давно, но в основном такие технические решения регистрируют отчётливые движения головой или отслеживают моргание. Примерное такое оборудование известный стример Лэнс Карр (Lance Carr), страдающий от мышечной дистрофии, использовал до того, как пожар уничтожил его игровое железо. При этом происшествие имело и положительный эффект — именно после этого инженеры Google всерьёз занялись совершенствованием технологии.

Результатом стал Project Gameface. «Игровая мышь» — ПО с открытым кодом, не требует управления руками и использует для подачи команд обычную веб-камеру, направленную на лицо пользователя. Машинное обучение позволяет отслеживать на лице 468 уникальных точек, что даёт возможность GameFace точно распознавать не только движения головы, но и мимику. Например, то или иное выражение лица преобразуется в клик мышью или другие команды. Project Gameface позволяет даже настраивать управление под индивидуальную мимику, поэтому воспользоваться преимуществами технологии смогут даже те, кто с трудом может управлять даже лицевыми мышцами.

Источник изображения: Google

В Google заявляют, что Project GameFace нуждается в доработке и пока не готов к массовому использованию. Однако исходники уже доступны на GitHub тем, кто желает сделать вклад в продолжающуюся работу. Не исключено, что возможность подобного управления может пригодиться и здоровым людям — в дополнение к классическим контроллерам.