Исследователи Google: ИИ-агентов нужно считать недоверенными системами

Исследователи из Google, Gray Swan AI, EmbraceTheRed и нескольких университетов опубликовали доклад, в котором предложили новый взгляд на безопасность ИИ-агентов. По их мнению, агентов искусственного интеллекта следует рассматривать как недоверенные системы, а меры защиты необходимо встраивать во всю архитектуру, а не только в модели.

В работе, обновленной 20 мая, авторы утверждают, что текущий подход, ориентированный на повышение робастности моделей, недостаточен. Вместо этого они предлагают применять методы из области системной безопасности, которые давно работают с мощными атакующими.

Изучив ряд кейсов атак, исследователи выделили три механизма, способных устранить большинство угроз. Во-первых, ИИ-агент должен четко различать инструкции и недоверенные данные, чтобы злоумышленник не мог спрятать вредоносные указания внутри данных. Во-вторых, агенту следует давать только минимальные права, необходимые для выполнения задачи, а не полный доступ. В-третьих, система в целом, а не агент, должна контролировать передачу конфиденциальной информации.

В документе подчеркивается, что стандартные конфигурации безопасности делят системы на доверенные и недоверенные, и ИИ следует относить ко второй категории. Такой подход уже применяется в компьютерной безопасности и доказал свою эффективность.

ИИ-агенты становятся все популярнее в криптовалютной среде. Генеральный директор Circle Джереми Аллер ранее предсказал, что в течение пяти лет миллиарды агентов будут действовать от имени пользователей. Однако инциденты, такие как взлом криптотрейдингового помощника Bankr в мае, показывают уязвимость систем.

Эксперты отмечают, что при правильной реализации безопасность возможна. Аарон Рэтклифф из Merkle Science указал на необходимость проверок ИИ на предмет опережающих сделок, лимитов проскальзывания и защиты от инъекций. А Шон Рен из Sahara AI подчеркнул, что протоколы контекста модели могут быть золотым стандартом, но пользователи должны контролировать каждое действие агента.

Работа предлагает системный взгляд на безопасность ИИ-агентов, что особенно актуально на фоне их растущего применения в финансах и криптовалютах. Однако окончательные выводы исследователей подчеркивают: никакая защита не будет полной без правильной архитектуры всей системы.