Учёные из лаборатории исследований искусственного интеллекта Tinkoff Research разработали SAC-RND — новый алгоритм для обучения ИИ. На робототехнических симуляторах было достигнуто повышение скорости обучения в 20 раз по сравнению со всеми существующими аналогами при возросшем на 10 % качестве. Оптимизация крайне ресурсоёмкого процесса обучения ИИ ускорит развитие многих сфер, где применяется ИИ.

Источник изображения: Tinkoff

Разработчики утверждают, что SAC-RND может «повысить безопасность беспилотных автомобилей, упростить логистические цепочки, ускорить доставку и работу складов, оптимизировать процессы горения на энергетических объектах и сократить выбросы вредных веществ в окружающую среду. Открытие не только улучшает работу узкоспециализированных роботов, но и приближает нас к созданию универсального робота, способного в одиночку выполнять любые задачи».

Результаты исследования были представлены в конце июня на 40-й Международной конференции по машинному обучению (ICML) в Гонолулу, Гавайи. Эта конференция является одной из трёх крупнейших в мире в сфере машинного обучения и искусственного интеллекта.

Одним из наиболее перспективных видов обучения ИИ является обучение с подкреплением (RL), позволяющее ИИ учиться методом проб и ошибок, адаптироваться в сложных средах и изменять поведение на ходу. Обучение с подкреплением может использоваться во всех сферах: от регулирования пробок на дорогах до рекомендаций в социальных сетях.

При этом ранее считалось, что использование случайных нейросетей (RND) не применимо для офлайн-обучения с подкреплением. В методе RND используются две нейросети — случайная и основная, которая пытается предсказать поведение первой. Свойство нейросети определяются её глубиной — количеством слоёв, из которых она состоит. Основная сеть должна содержать больше слоёв, чем случайная, иначе моделирование и обучение становится нестабильным или даже невозможным.

Использование неправильных размеров сетей привело к ошибочному выводу, что метод RND не умеет дискриминировать данные — отличать действия из датасета от прочих. Исследователи из Tinkoff Research обнаружили, что при использовании эквивалентной глубины сетей, метод RND начинает качественно различать данные. Затем исследователи приступили к оптимизации ввода и научили роботов приходить к эффективным решениям при помощи механизма слияния, основанного на модуляции сигналов и их линейном отображении. До этого при использовании метода RND поступающие сигналы не подвергались дополнительной обработке.

На визуализации ниже в верхнем ряду показаны предыдущие попытки применения метода RND, в нижнем — метод SAC-RND. Стрелки на изображении должны вести робота в одну точку — они указывают направление к правильному действию. Метод Tinkoff Research во всех случаях стабильно приводит робота в нужную точку

Визуализация принятия решения роботами, обученными с помощью разных алгоритмов. Источник изображения: Tinkoff Research

Метод SAC-RND был протестирован на робототехнических симуляторах и показал лучшие результаты при меньшем количестве потребляемых ресурсов и времени. Открытие поможет ускорить исследования в области робототехники и обучения с подкреплением, поскольку оно снижает время получения устойчивого результата в 20 раз и является важным шагом на пути к созданию универсального робота.

Tinkoff Research — российская исследовательская некоммерческая группа. Учёные из Tinkoff Research исследуют наиболее перспективные области ИИ: обработку естественного языка (NLP), компьютерное зрение (CV), обучение с подкреплением (RL) и рекомендательные системы (RecSys). Команда курирует исследовательскую лабораторию «Тинькофф» на базе МФТИ и помогает талантливым студентам совершать научные открытия.

Клиенты банка «Тинькофф» с Android-смартфонами теперь смогут оплачивать покупки с помощью сервиса Tinkoff Pay не только в онлайне, но и в обычных розничных точках продаж. В сервисе появилась функция бесконтактной оплаты с помощью NFC, так что за покупки можно расплатиться, просто приложив смартфон к платёжному терминалу. Привязать к сервису можно любую карту «Тинькофф» платёжной системы «Мир».

Источник изображения: «Тинькофф»

Теперь расплачиваться телефоном с Tinkoff Pay можно везде, где принимают бесконтактную оплату. Помимо удобства покупатели получают бонус в виде кешбэка. Чтобы воспользоваться Tinkoff Pay на смартфоне, нужно привязать к сервису одну или несколько карт платёжной системы «Мир» в приложении Tinkoff. Туда же можно добавить и кредитную карту. Прямо в момент оплаты можно выбрать карту, с которой спишутся деньги, а также посмотреть баланс счёта. Для подтверждения покупки на сумму свыше 1000 рублей нужно разблокировать телефон с помощью кода, отпечатка пальца или по лицу. Для покупок до 1000 руб. будет достаточно поднести телефон к терминалу с включённым экраном.

В «Тинькофф» поясняют, что функция оплаты через Tinkoff Pay будет появляться у пользователей в настройках приложения Tinkoff поэтапно. В течение двух недель она станет доступна всем клиентам банка, кто пользуется смартфонами на базе Android версии 7.0 и новее, оснащёнными поддержкой NFC. Также для подключения Tinkoff Pay необходимо обновить приложение Tinkoff до версии 6.18 или более поздней.

«В будущем в сервис Tinkoff Pay можно будет добавлять карты любых российских банков. Также мы работаем над технологией оплаты смартфоном с помощью Tinkoff Pay для владельцев телефонов от Apple», — отметили в банке.

О выпуске специальных платёжных стикеров Tinkoff Pay для смартфонов, позволяющих осуществлять бесконтактные платежи, «Тинькофф» сообщил ещё в конце 2022 года. По последним данным, клиентам банка уже розданы первые 60 тыс. стикеров, но планы банка намного масштабнее.

Источник изображения: Tinkoff

Известно, что тестирование стикеров началось ещё в декабре 2022 года, и как сообщает пресс-служба компании, с их помощью уже совершено более 600 тыс. транзакций. Наклейка имеет встроенный NFC-чип и особенно актуальна для пользователей iPhone, поскольку сервис Apple Pay в России не работает, а альтернативные варианты на продукции Apple не доступны.

Если изначально в эксперименте участвовали только сотрудники «Тинькофф» и члены их семей, то позже к ним добавились и клиенты банка, желающие принять участие в проекте. Как сообщают в компании, ежедневно для клиентов выпускается по 7‒8 тыс. стикеров и ещё до конца текущего квартала в пользование будет выдано более 500 тыс. экземпляров Tinkoff Pay.

По словам вице-президента «Тинькофф» и руководителя направления «Тинькофф Кассы» Сергея Хромова, «платёжный стикер возвращает людям привычный способ оплаты телефоном. Мы видим у клиентов большой спрос на стикеры Tinkoff Pay, поэтому уже выделили дополнительные мощности, чтобы увеличить объём их производства. Мы рассчитываем, что по результатам первого полугодия число наших клиентов, оплачивающих покупки с использованием платёжного стикера Tinkoff Pay, превысит 1 млн человек».

По данным компании, уже сейчас число оформленных заявок на новые стикеры превышает 250 тыс. Тем, кто оставил заявку до конца января текущего года, наклейку обещают выпустить и доставить бесплатно, а сами заявки можно оформить на сайте «Тинькофф». Ожидается, что с марта заявку можно будет оформить «в один клик» и в приложении.

Недавно с собственной похожей инициативой выступила МТС, предлагающая альтернативный вариант применения стикера в комбинации со специальным приложением. Оно позволяет привязывать к стикеру до пяти карт, выпущенных любыми российскими банками.