AudioHijack: неслышимые аудиокоманды взламывают ИИ-голосовые модели с точностью до 96%

Группа исследователей из Чжэцзянского университета (Китай) представила метод атаки на системы искусственного интеллекта, работающие с голосом. Техника, получившая название AudioHijack, позволяет встраивать в аудиофайлы скрытые команды, которые незаметны для человеческого уха, но воспринимаются ИИ-моделями.

По данным исследования, представленного на 47-й конференции IE, атака демонстрирует успешность от 79% до 96% в зависимости от модели. Учёные тестировали метод на открытых моделях, а затем перенесли его на коммерческие голосовые AI-решения от Microsoft и Mistral. Большинство стандартных защитных механизмов остановили лишь незначительную часть попыток взлома.

Принцип действия AudioHijack заключается в использовании нейросетей для генерации аудиосигналов, которые неразличимы для человека, но содержат команды, изменяющие поведение большой аудиоязыковой модели. Например, модель может начать выполнять инструкции злоумышленника, такие как чтение конфиденциальных данных или совершение действий от имени пользователя.

Исследователи отмечают, что уязвимость затрагивает не только открытые модели, но и проприетарные системы, поскольку многие из них используют общие компоненты с открытым исходным кодом. В настоящее время команда изучает возможность применения атаки к закрытым моделям от OpenAI и Anthropic.

Специалисты подчёркивают, что проблема требует пересмотра подходов к безопасности голосовых AI-систем. В стандартные методы защиты, такие как детекция аномалий или фильтрация шумов, не справляются с данным типом атаки из-за её скрытности. Это открывает новое направление в области кибербезопасности, связанное с защитой от adversarial-атак на аудиомодели.

Разработка AudioHijack демонстрирует, что даже самые продвинутые голосовые ассистенты могут быть уязвимы для скрытого управления. В условиях растущего распространения голосовых интерфейсов в банковской сфере, умных домах и корпоративных системах безопасности данное исследование подчёркивает необходимость усиленной защиты аудиоканалов.