OpenAI внедрила общий стандарт robots.txt для сбора данных

Компания OpenAI объявила о поддержке общего сигнала через протокол robots.txt, который позволяет владельцам сайтов управлять использованием их контента для обучения искусственного интеллекта. Новый подход призван упростить взаимодействие между создателями контента и разработчиками моделей.

Обновленный механизм дает возможность сайтам централизованно сообщать участвующим провайдерам о своих предпочтениях в отношении сбора данных с помощью общего токена политики ("policy token"). Такой шаг направлен на повышение прозрачности при индексации веб-страниц и соблюдение авторских прав на цифровые материалы.

Нововведение внедряют и другие крупные игроки рынка — инициативу также поддержали Google, Microsoft и Anthropic. Для владельцев ресурсов это означает более простой контроль над доступом ИИ-систем к их публикациям без необходимости настраивать сложные кастомные правила отдельно для каждой компании.