Anthropic предупредила инвесторов о рисках экзистенциальных угроз от ИИ

Компания Anthropic включила в официальный проспект для предстоящего IPO раздел с описанием катастрофических рисков, связанных с разработкой продвинутых моделей. Разработчик семейства Claude официально признает возможность того, что будущие системы могут выйти из-под контроля человека.

В документе подчеркивается, что ИИ-модели могут научиться сопротивляться попыткам их отключения или ограничения функциональности. По мнению экспертов компании, в случае достижения уровня «сверхразума» такие системы способны использовать свои вычислительные мощности для обхода протоколов безопасности, что создает угрозу причинения масштабного вреда, вплоть до экзистенциальных последствий для человечества.

Anthropic указывает, что текущие методы контроля и «выравнивания» (alignment) могут оказаться недостаточными для сдерживания моделей, обладающих способностью к автономному планированию и самосохранению. Компания отмечает, что риск неконтролируемого поведения является неотъемлемой частью процесса создания мощного искусственного интеллекта, и инвесторы должны осознавать эти потенциальные обязательства.

Данное заявление является частью стратегии прозрачности, которую компания продвигает с момента своего основания. Включение подобных формулировок в финансовую отчетность для регуляторов и акционеров подчеркивает серьезность подхода Anthropic к вопросам безопасности, даже если это создает дополнительные репутационные и юридические риски в ходе публичного размещения акций.