Nvidia представила аппаратную защиту для ИИ-агентов

Компания Nvidia анонсировала систему Open Agent Safety Platform, предназначенную для контроля и изоляции автономных программ. Решение сочетает программное обеспечение OpenShell и новый аппаратный сторожевой таймер Sentry, встроенный прямо в архитектуру чипов.

Главной задачей Sentry является мгновенное пресечение нежелательной активности автономных систем. Согласно внутренним данным компании, аппаратный модуль способен изолировать вышедшего из-под контроля агента всего за миллисекунды. Для сравнения, аналогичные инциденты у других разработчиков, например, остановка сбоя у OpenAI в сентябре, требовали до трех часов ручного вмешательства.

Несмотря на высокую скорость реагирования, разработчики отмечают ограничения текущей версии. Сторожевой таймер пока не способен самостоятельно и надежно останавливать агентов, которые целенаправленно скрывают свои намерения или используют сложные методы обхода проверок безопасности.

Новый инструмент направлен на решение проблемы безопасности в корпоративных средах, где автономные агенты получают доступ к критической инфраструктуре. Внедрение аппаратного контроля на уровне чипов снижает риски непредвиденного поведения сложных ИИ-систем в реальном времени.