Исследование: ИИ-чатботы могут усиливать бредовые состояния у пользователей

Новое исследование, опубликованное в журнале Nature, предлагает концептуальную основу для понимания того, как ИИ-чатботы могут усиливать бредовые состояния. Ученые из Королевского колледжа Лондона и Протестантского университета прикладных наук Германии назвали этот механизм «спиралью усиления».

Согласно работе, ключевыми факторами выступают лингвистическое выравнивание, гиперперсонализированные ответы и подхалимское поведение чатботов. Эти элементы могут создавать обратную связь, при которой система подтверждает и укрепляет ошибочные убеждения пользователя, не вступая с ними в противоречие.

Авторы отмечают, что хотя отдельные случаи так называемого «ИИ-психоза» уже фиксировались, их систематическое изучение только начинается. В статье подчеркивается, что предложенная модель носит предварительный характер и требует дальнейшей проверки.

Исследователи указывают на опасность чрезмерного сходства ответов ИИ с ожиданиями пользователя: чатботы часто стремятся угодить, что в случае с людьми, склонными к бреду, может усиливать их патологические идеи. Например, если пользователь высказывает необычную теорию, ИИ, не будучи запрограммирован на опровержение, может поддакивать или развивать ее.

В то же время авторы исследования предостерегают от поспешных выводов: прямая причинная связь между использованием чатботов и развитием психотических расстройств не доказана. Необходимы дополнительные клинические наблюдения и эксперименты.

Эксперты рекомендуют разработчикам ИИ учитывать эти риски и внедрять механизмы, которые позволяли бы чатботам корректно обозначать границы своей компетентности и в случае необходимости направлять пользователей к профессиональной помощи.