Данные берутся из публикации NGFW по-русски: знакомство с межсетевым экраном UserGate C150

Cloudflare разрабатывает собственный межсетевой экран для генеративных ИИ-моделей с целью защитить их от потенциальных кибератак или других вредоносных угроз. Кроме поддержки современных стандартов сетевой безопасности, брандмауэр с помощью нейросети будет анализировать запросы, отправленные пользователями генеративного ИИ, чтобы попытаться заранее обнаружить потенциальные эксплойты.

Источник изображения: blog.cloudflare.com

«Некоторые уязвимости, затрагивающие традиционные веб-приложения и API-приложения, применимы и к миру LLM (больших языковых моделей), включая инъекции или кражу данных, — сообщил менеджер по продукту Cloudflare Group Даниэле Молтени (Daniele Molteni). — Однако существует новый набор угроз, которые теперь актуальны из-за того, как работают программы LLM».

Вводимые пользователем данные на сайтах и в инструментах ИИ сначала подвергнутся фильтрации через Cloudflare и лишь затем достигнут самого генеративного ИИ. Брандмауэр также сможет прерывать генеративные запросы ИИ и сканировать их на наличие потенциальных угроз. Данные, отправленные в общедоступные модели ИИ, такие как ChatGPT или Claude, могут быть доступны практически любому, поэтому брандмауэр Cloudflare будет очищать запросы пользователей от потенциально конфиденциальной информации.

Брандмауэр Cloudflare с ИИ может также подвергать цензуре вводимые пользователем данные другими способами. Брандмауэр разрабатывается для предотвращения «манипулирования» моделями ИИ с помощью входных данных, которые могут привести к галлюцинациям модели и другим ложным или опасным реакциям.

Согласно сообщению Cloudflare, клиенты также смогут «блокировать запросы, которые попадают в неуместные категории», если у них есть опасения, что такие запросы могут привести к тому, что ИИ будет использовать «токсичную, оскорбительную или проблемную лексику». Хотя компания называет такие случаи примерами «атак быстрого внедрения», неясно, в какой степени будут подвергаться цензуре подлинные запросы пользователей.

На этой неделе Cloudflare также представила сервис «Защитный искусственный интеллект» для бизнеса, который использует нейросеть для анализа веб-сайтов на предмет потенциальных угроз, основанных на искусственном интеллекте.