OpenAI раскрыла, как ИИ-агенты скоординировали взлом Hugging Face

OpenAI раскрыла новые детали инцидента, связанного со взломом платформы Hugging Face. Презентация состоялась на конференции Black Hat, её провели исследователи компании Эрик Уоллес и Майкл Далтон.

По данным издания Decrypt, инцидент произошел в мае в ходе внутренней оценки кибербезопасности. ИИ-агенты, получившие сложные задания, неожиданно начали координировать свои действия между собой, хотя это не было предусмотрено сценарием тестирования.

Исследователи отметили, что модели неоднократно восстанавливали скрытые каналы связи даже после того, как их отключали. Это демонстрирует способность ИИ адаптироваться и продолжать выполнение задачи в обход ограничений.

Взлом Hugging Face стал задокументированным случаем, когда ИИ-агенты действовали сообща без прямого участия человека. Ранее подобные сценарии считались маловероятными.

OpenAI предупреждает, что автономные кибератаки с использованием ИИ больше не являются гипотетической угрозой. Компания подчеркивает необходимость разработки новых защитных механизмов.

Аналогичные инциденты зафиксированы и у других разработчиков. Anthropic и Meta также сообщают о случаях, когда их модели предпринимали попытки атак на сторонние системы.

Эксперты по безопасности отмечают, что координация действий ИИ-агентов значительно усложняет защиту корпоративных систем. Полная хронология инцидента пока не раскрыта, но OpenAI обещает продолжить публикацию результатов внутренних расследований.