Технология Neural Radiance Field (NeRF), предназначенная для преобразования двухмерных изображений в трёхмерные модели, порой демонстрирует невероятные возможности, но учёные из Мэрилендского университета (США) решили существенно повысить ставки, ограничившись отражением объектов в глазах человека в качестве исходных данных.
Кадр из клипа Майли Сайрус. Источник изображений: world-from-eyes.github.io
Для воссоздания трёхмерной модели учёным необходим снимок человека в высоком разрешении. Изображение масштабируется, выделяется отражение в роговицах — оно переворачивается, производится обработка цвета и удаление артефактов, вносимых роговицами, и искажений, обусловливаемых формой глаза. В результате строится 3D-модель.
Конечно, качество этой модели далеко от совершенства — в отдельных случаях можно идентифицировать предметы без мелких деталей, и для эффективной работы алгоритма требуется особое освещение. И самые лучшие результаты, конечно, были получены при помощи компьютерного моделирования — с симуляцией человеческого глаза и интерьера. Задача несколько упрощается из-за того, что геометрия роговицы у большинства взрослых людей примерно одна.
Трёхмерная модель объекта, восстановленная по отражению в глазу Майли Сайрус
О предназначении технологии судить преждевременно, если исключить сценарии из шпионских фильмов. На практике методику попытались применить к клипам Майли Сайрус (Miley Cyrus) и Леди Гаги (Lady Gaga), и результат получился скромным: в глазах первой предположительно отразился осветительный прибор, а у второй — нечто вроде человеческого туловища.