Контентная платформа «Дзен», принадлежащая VK, указала, что роботу GPTBot американской компании OpenAI (разработчик ИИ-бота ChatGPT) запрещено обходить страницы dzen.ru для сбора данных. Об этом пишет «Коммерсантъ» со ссылкой на данные относящегося к платформе файла robots.txt, который предназначен для программ по автоматическому сбору данных с веб-сайтов.
Источник изображения: Pixabay
В пресс-службе VK пояснили, что блокировка GPTBot осуществлена для снижения нагрузки на серверы «Дзена». «Рекомендательная система «Дзена» — одна из самых больших в стране. Высоконагруженные сервисы работают беспрерывно и обрабатывают более 150 тысяч запросов в секунду. Решение не включать GPTBot от OpenAI в файл принято для грамотного использования технического ресурса, чтобы не создавать дополнительную нагрузку. В «Дзене» регулярно создаются миллионы новых публикаций: как в текстах, так и видеоформате, — мы направляем ресурсы на то, чтобы обеспечить качественный опыт нашим пользователям и авторам», — сообщили в VK.
Напомним, файл robots.txt носит рекомендательный характер и технически роботы могут его игнорировать. Что касается GPTBot, то он используется для сбора информации, которая в дальнейшем применяется в процессе обучения нейросетей OpenAI. Американская компания не предоставляет доступ к ним из России, а также заблокировала для россиян доступ к своему сайту.