ИИ-агенты не смогли самостоятельно вести научные исследования: результаты эксперимента

Группа исследователей из Принстонского университета, Стэнфордского университета, Университета Торонто, британского Института безопасности ИИ и других академических организаций провела масштабный эксперимент: смогут ли передовые ИИ-агенты самостоятельно проводить открытые научные исследования в области искусственного интеллекта. Результат оказался неоднозначным.

Как сообщается в исследовании, опубликованном на этой неделе, современные frontier AI-системы успешно справились с инженерной частью работы: написанием кода, настройкой экспериментов, обработкой данных. Однако созданные ими научные работы не прошли бы рецензирование на ведущей конференции по машинному обучению — им не хватило оригинальности и научной новизны.

Авторы выделили пять повторяющихся режимов отказа, которые мешают ИИ выдавать публикуемые результаты. Среди них — склонность к генерации тривиальных выводов, недостаточная глубина анализа, неспособность выйти за рамки заданных шаблонов и сложности с постановкой действительно новых исследовательских вопросов.

Это первое столь масштабное межвузовское исследование, в котором оценивалась способность ИИ работать как самостоятельный ученый, а не как вспомогательный инструмент. Ученые подчеркивают, что ИИ отлично ускоряет рутинные процессы и может быть полезен как ассистент, но пока не способен заменить человеческую креативность в науке.

Эксперимент ставит важные вопросы о границах применения ИИ в академической среде и о том, какие задачи действительно можно делегировать алгоритмам. Авторы надеются, что выделенные проблемы станут ориентиром для дальнейших исследований в области автономного научного поиска.