Сегодня 18 марта 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Сборщики данных для ИИ оказались виновниками массового замедления сайтов по всему интернету

Платформа Git-хостинга открытых проектов SourceHut заявила, что работа её сервисов замедлилась из-за веб-сканеров, которые запускают компании — разработчики систем искусственного интеллекта. Похожие жалобы всё чаще поступают и от владельцев других ресурсов.

 Источник изображения: Kai Wenzel / unsplash.com

Источник изображения: Kai Wenzel / unsplash.com

Чтобы ограничить трафик от ИИ-ботов, SourceHut пришлось развернуть Nepenthes — средство защиты от недобросовестно работающих веб-сканеров, собирающих данные для обучения моделей ИИ. Администрация платформы в одностороннем порядке целиком заблокировала диапазоны адресов нескольких облачных провайдеров, в том числе Google Cloud и Microsoft Azure, из-за чрезмерных объёмов трафика от развёрнутых в их сетях ботов. Владельцам добросовестно работающих сервисов на этих инфраструктурах рекомендовали связываться с администрацией SourceHut в индивидуальном порядке, чтобы добавлять их в исключения. В 2022 году SourceHut также пострадала из-за слишком частых обращений к её ресурсам от службы Google Go Module Mirror.

В 2023 году OpenAI заверила, что её боты будут выполнять директивы из файлов robots.txt, указывающих правила обработки данных с сайтов веб-сканерами. Аналогичные обязательства взяли на себя и другие разработчики ИИ, но жалобы на злоупотребления продолжают поступать. Летом минувшего года сайт iFixit, в частности, подвергся нашествию со стороны бота Anthropic Claudebot. В декабре хостер Vercel сообщил о значительном присутствии ИИ-сканеров в его инфраструктуре: OpenAI GPTbot отправил в его сеть 569 млн запросов, Anthropic Claude — 370 млн. В совокупности они достигли около 20 % от 4,5 млрд запросов Googlebot, который используется для индексации ресурсов в Google.

 Источник изображения: Kai Wenzel / unsplash.com

Источник изображения: Kai Wenzel / unsplash.com

Тогда же разработчик распределённой соцсети Diaspora Деннис Шуберт (Dennis Schubert) пожаловался, что за предшествующие 60 дней на ИИ-ботов пришлись 70 % трафика на его сервер. Публикация обрела вирусную популярность, и активность ИИ-сканеров резко сократилась; однако сетевые хулиганы устроили на его ресурс массовое нашествие запросов от клиентов со значением строки user-agent, совпадающим с OpenAI GPTbot. Вот только настоящий ИИ-бот OpenAI отправляет запросы из инфраструктуры Microsoft Azure, а в случае с сервером Diaspora они исходили с адресов AWS и даже от американских интернет-провайдеров.

Иногда ситуация осложняется тем, что некоторые боты имеют несколько предназначений. Так, Meta AI bot и AppleBot собирают данные исключительно для обучения ИИ, тогда как GoogleBot служит и для ИИ, и для индексации в поиске. Чтобы избежать путаницы, Google в 2023 году добавила отдельное значение Google-Extended для инструментов обучения ИИ.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Критики вынесли вердикт Assassin’s Creed Shadows — первые оценки самого важного релиза Ubisoft последних лет 15 мин.
Blizzard Arcade Collection и Atomfall скоро появятся в Game Pass, а сразу четыре Yakuza из подписки удалят 2 ч.
Российская система контролируемого обмена файлами Filestone MFT получила крупное обновление 3 ч.
Cloud.ru запустил платформу Evolution Stack для создания частных и гибридных облаков 4 ч.
«Да, оно того стоило»: бесплатный пролог «Карантин» к Pathologic 3 дебютировал в Steam с рейтингом 92 % 4 ч.
ИИ сравняется с людьми в любой задаче через десять лет, уверен глава Google DeepMind 5 ч.
ИИ-модели Llama скачали более миллиарда раз, похвастался Марк Цукерберг 6 ч.
Сотни знаменитостей подписали открытое письмо с требованием запретить «свободу обучения» ИИ 6 ч.
Apple не смогла отбиться от немецких антимонопольщиков — они теперь смогут требовать поменять App Store 6 ч.
Sony открыла игровую студию Dark Outlaw Games — её возглавил руководитель разработки Call of Duty: Black Ops 3 6 ч.
Dell представила сервер PowerEdge XE8712 на базе NVIDIA GB200 NVL4 23 мин.
Nvidia представила профессиональные видеокарты Nvidia RTX Pro Blackwell для дата-центров, ПК и ноутбуков 32 мин.
Интегрированная фотоника и СЖО: NVIDIA анонсировала 800G-коммутаторы Spectrum-X и Quantum-X 37 мин.
Nvidia создаст исследовательский центр для ускорения пришествия квантовых вычислений 43 мин.
Nvidia представила DGX Station и DGX Spark — «персональный ИИ-суперкомпьютер» и рабочую станцию на базе Grace Blackwell 44 мин.
«ДАТАРК» запустил тест-драйв российской системы мониторинга и управления ЦОД DATCHECK 4 ч.
Швейцарский стартап научит Microsoft создавать ИИ на цифровых двойниках мозга насекомых, животных и людей 4 ч.
Создание частной космической станции Starlab дошло до «полномасштабной разработки» — запуск запланирован на 2028 год 4 ч.
«Аквариус» интегрирует российские крипточипы в свои устройства 4 ч.
Морские интернет-кабели научились «прослушивать» на предмет саботажа 5 ч.