Internet Archive ограничил автоматизированный доступ к Wayback Machine

Internet Archive обновил политики доступа к сервису Wayback Machine, внедрив жесткие ограничения для высокоинтенсивного автоматизированного трафика. Мера направлена на защиту инфраструктуры от чрезмерных нагрузок, которые приводили к деградации производительности сервиса для обычных пользователей.

Администрация ресурса признала наличие ошибок в работе новых фильтров, из-за которых под блокировку попадают легитимные запросы. Пользователи, столкнувшиеся с ложными срабатываниями систем защиты, могут направить запрос на разблокировку по адресу info@archive.org. В письме необходимо указать IP-адрес или характер выполняемых задач, чтобы команда поддержки могла скорректировать правила доступа.

Ограничения затрагивают в первую очередь парсеры и скрипты, выполняющие тысячи запросов в секунду. Подобная активность часто используется для сбора обучающих датасетов для AI-моделей, что создает критическую нагрузку на серверы архива. В текущих условиях компания вынуждена приоритизировать доступ для ручных пользователей, сохраняя целостность исторического архива данных.

Ситуация вызвала активное обсуждение в сообществе Hacker News, где пользователи отмечают сложность баланса между открытостью данных для исследователей и технической устойчивостью платформы. Изменения вступают в силу немедленно и будут корректироваться по мере поступления обращений от разработчиков и исследователей, использующих API архива для легальных целей.