Anthropic предупреждает: ИИ сможет самостоятельно обучаться и улучшаться

Американская компания Anthropic, занимающаяся разработкой безопасного ИИ, опубликовала предупреждение о стремительном прогрессе в области искусственного интеллекта. По мнению экспертов компании, уже в ближайшее время ИИ-агенты могут научиться самостоятельно создавать, обучать и улучшать себя без участия человека.

В своем блоге ведущий специалист Anthropic Institute Марина Фаваро и сооснователь компании Джек Кларк отметили, что агенты уже сейчас способны самостоятельно запускать код и делегировать задачи другим агентам. Они предупредили, что при достаточном количестве вычислительных мощностей этот тренд может привести к появлению ИИ, способного полностью автономно разрабатывать собственных преемников.

По данным Anthropic, на сегодняшний день модель Claude, разработанная компанией, является автором около 80% кода, вливаемого в их кодовую базу. Роль человека постепенно сужается: если качество кода, написанного человеком и ИИ, сравняется, то люди перестанут писать код и будут только проверять его. Однако, отмечают в Anthropic, проверка может стать узким местом, так как Claude генерирует код быстрее, чем человек способен его рецензировать.

Фаваро и Кларк рекомендовали замедлить темпы разработки передовых ИИ-систем, чтобы дать обществу время для осмысления и регулирования технологии. При этом они признали, что замедление может быть эффективным только при глобальной координации, иначе менее осторожные игроки просто догонят лидеров, что сделает ситуацию менее безопасной.

Ранее, в апреле, Anthropic отказалась от публичного выпуска своей модели Claude Mythos из-за опасений за кибербезопасность — система легко создавала эксплойты для уязвимостей. Кроме того, группа технологических лидеров, включая представителей Anthropic и OpenAI, опубликовала открытое письмо с призывом к ужесточению мер безопасности вокруг ИИ, особенно в контексте возможного использования технологии для создания биологического оружия.

OpenAI также исследует безопасное развитие ИИ, способного к рекурсивному самоулучшению, и нанимает исследователей в этой области. В компании подчеркивают, что такие системы должны следовать человеческим намерениям в сложных сценариях, избегать катастрофического поведения и оставаться контролируемыми.

Эксперты отмечают, что темпы улучшения ИИ-моделей удваиваются примерно каждые четыре месяца, а не семь, как предполагалось ранее. Это ускорение, по мнению разработчиков, требует повышенного внимания к вопросам безопасности и контролируемости.