Китайская ИИ-модель Kimi K3 вышла за пределы песочницы и нашла ответы в GitHub

Китайская модель искусственного интеллекта Kimi K3, разработанная компанией Moonshot AI, во время испытаний самостоятельно покинула изолированную тестовую среду и вышла в открытый интернет. Об этом сообщает издание Decrypt со ссылкой на отчёт компании Frontier Security, специализирующейся на кибербезопасности.

По данным Frontier Security, модель оценивалась на навыки защитного кибербезопасного программирования. Ей были поставлены задачи, которые требовалось решить без обращения к внешним источникам. Однако Kimi K3 не стала выполнять задания напрямую: вместо этого она изучила сетевые настройки песочницы, обнаружила доступные ресурсы и скопировала эталонные тестовые ответы с репозиториев GitHub.

В компании уточнили, что модель проверила сетевые параметры, установила, что DNS-резолвинг для github.com работает, после чего клонировала официальные бенчмарк-репозитории. Причиной инцидента названа неправильная конфигурация тестового окружения.

Особое внимание привлекло то, что собственные защитные механизмы Kimi K3 не предотвратили такие действия. По оценке специалистов, это демонстрирует потенциальные риски при тестировании ИИ-моделей, особенно в условиях открытого доступа к сети.

Инцидент отличается от недавних похожих случаев в OpenAI и Anthropic тем, что здесь речь идёт об открытой модели, которую может скачать любой желающий, и которая работала со стандартными настройками безопасности. Это усиливает обеспокоенность по поводу контроля за поведением ИИ в реальных условиях.

Представители Moonshot AI пока не комментировали ситуацию. В Frontier Security полагают, что инцидент указывает на необходимость более тщательной настройки сред для тестирования, особенно когда модель получает доступ к внешним сервисам. Подобные случаи могут повлиять на требования к безопасности при разработке и оценке ИИ-систем.