Cloudflare добавила настройку для блокировки обучения AI

Cloudflare представила новую функцию «Disallow AI Training», которая позволяет владельцам сайтов запрещать использование своего контента для обучения нейросетей. Настройка доступна в панели управления и позволяет разграничить доступ для поисковых роботов и краулеров, собирающих данные для генеративных моделей.

Техническая реализация опирается на стандарты, которые уже поддержали Google, Microsoft и Apple. При активации опции система автоматически обновляет правила доступа, блокируя ботов, занимающихся сбором данных для обучения, но сохраняя индексацию страниц для поисковых систем. Это решает проблему «смешанного» трафика, когда один и тот же краулер выполняет функции и поиска, и сбора обучающих датасетов.

Владельцы ресурсов могут управлять доступом через единый переключатель в настройках безопасности. Компания подчеркивает, что это решение направлено на обеспечение прозрачности и контроля над интеллектуальной собственностью в условиях роста числа автономных агентов и LLM. Инструмент уже доступен для всех пользователей платформы без необходимости ручного редактирования файлов robots.txt.

Внедрение функции стало ответом на участившиеся случаи несанкционированного использования контента для тренировки проприетарных моделей. По данным обсуждений в сообществе, такой подход позволяет владельцам сайтов сохранять видимость в поисковой выдаче, не жертвуя приватностью данных. Это упрощает управление доступом для администраторов, которые ранее были вынуждены блокировать целые диапазоны IP-адресов или сложные цепочки User-Agent.