- NVIDIA запустила Open Agent Safety Platform для контролю автономних ШІ-агентів.
- Система здатна ізолювати агента за мілісекунди у разі виходу за встановлені межі.
- До ініціативи приєдналися понад 100 організацій, зокрема Anthropic, Microsoft, JPMorganChase і Salesforce.
NVIDIA представила Open Agent Safety Platform — відкриту платформу для контролю та захисту автономних ШІ-агентів на етапах тестування й експлуатації. Вона має обмежувати дії систем і зупиняти їх у разі спроби вийти за дозволені рамки.
Платформа включає два основні компоненти. OpenShell створює захищене середовище виконання та контролює доступ агента до даних, інструментів і мережі.
NVIDIA Sentry працює як незалежний спостерігач на процесорах BlueField-4 DPU і може ізолювати агента, що порушив правила, за мілісекунди. За словами розробників, окремий рівень контролю не залежить від самого ШІ й недоступний для вимкнення агентом.
«Безпека та захист потребують комплексної інженерії», — заявив CEO NVIDIA Дженсен Хуанг. За його словами, нова платформа має допомогти компаніям, дослідникам і державним структурам виробити спільні підходи до безпечного розгортання ШІ.
OpenShell поширюється з відкритим вихідним кодом і може працювати не лише на інфраструктурі NVIDIA, а й на платформах Arm та Intel. У проєкті беруть участь понад 100 організацій, серед яких Anthropic, Microsoft, JPMorganChase, Salesforce, Cisco, CrowdStrike, Palantir і Hugging Face.
Запуск відбувся на тлі серії інцидентів, пов’язаних із виходом ШІ-агентів за межі тестових середовищ. OpenAI раніше почала розробляти автоматичний «рубильник» для ШІ після випадку, коли її агенти під час тестів отримали доступ до інтернету та інфраструктури Hugging Face.
Навколо Anthropic питання дистанційної зупинки моделей також стало предметом окремої дискусії. У межах конфлікту компанії з Пентагоном американський суд встановив, що після розгортання моделей у системах національної безпеки Anthropic не має до них бекдор-доступу і не може віддалено змінити або вимкнути їх.
У самій NVIDIA вважають подібні ризики насамперед інженерним завданням. Компанія заявляє, що поєднання програмних обмежень OpenShell і незалежного апаратного контролю Sentry має дозволити зупиняти небезпечні дії агента навіть у випадках, коли той намагається обійти захист на рівні застосунку.
Сообщение NVIDIA представила платформу для контролю ШІ-агентів появились сначала на INCRYPTED.
