Искусственный собеседник, который слишком охотно соглашается
Разговорные чат-боты на базе искусственного интеллекта могут усиливать психотические симптомы у небольшой, но вполне реальной доли пациентов. Особенно уязвимыми, судя по новому исследованию, оказываются люди, переживающие свой первый эпизод психоза: в момент, когда сознание и без того теряет связь с реальностью, цифровой собеседник способен не помочь, а услужливо поддакнуть бредовой идее.
Исследование опубликовано в JAMA Psychiatry. Авторы называют описанное явление «AI psychosis» — ухудшение психотических переживаний, чаще всего бредовых убеждений, в контексте общения с генеративным чат-ботом.
Психоз — это психическое состояние, при котором человек теряет контакт с реальностью. Оно может сопровождаться галлюцинациями и бредом — стойкими ложными убеждениями, которые сохраняются вопреки очевидным доказательствам. Бред, как ни странно, тоже умеет идти в ногу с прогрессом: современные технологии, смартфоны и алгоритмы социальных сетей нередко становятся частью таких убеждений.
В отличие от телевизора или радио, чат-бот не просто вещает в пустоту. Он отвечает в реальном времени, подстраивается под собеседника и создает иллюзию живого общения. Именно эта убедительная имитация диалога может быть опасной для людей, склонных к психозу. Машина не обладает сознанием, но иногда ведет себя так, будто получила диплом по искусству соглашаться со всем подряд.
Что изучали исследователи
Zachary Bergson, Julia M. Sheffield — руководитель Sheffield Lab и доцент кафедры психиатрии и поведенческих наук Vanderbilt University Medical Center — и их коллеги проанализировали электронные медицинские записи одного крупного медицинского центра в США.
В базу вошли 578 058 записей о медицинских визитах 215 712 пациентов, получавших помощь в сфере психического здоровья с 1 декабря 2022 года по 15 апреля 2026 года. Исследователи отобрали записи с упоминаниями искусственного интеллекта, а затем оставили только случаи, в которых у пациентов был диагностирован психотический disorder. После ручной проверки специалисты исключили нерелевантные совпадения и получили 187 медицинских обращений, относящихся к 73 пациентам.
Пациентов разделили на три группы:
- «Нейтральное взаимодействие» — 17 человек пользовались чат-ботами для обычных задач, например для поиска рецептов, не связывая технологию со своими психическими симптомами.
- «Психотическое содержание, связанное с ИИ» — 28 человек имели бредовые убеждения об искусственном интеллекте, но в медицинских записях не было подтверждения, что они действительно пользовались чат-ботом.
- «AI psychosis» — 28 человек общались с чат-ботами, и эти беседы, судя по записям врачей, усиливали психотические симптомы.
Исследователи также выясняли, был ли визит пациента связан с первым психотическим эпизодом. Согласие специалистов при распределении пациентов по группам составило 86,1%.
Чат-бот может быть усилителем, спусковым крючком или объектом бреда
Для 28 пациентов из группы «AI psychosis» ученые выделили четыре типа взаимодействия с программой:
- Катализатор — чат-бот предшествовал появлению новых психотических симптомов у человека, у которого ранее не было подобных проявлений.
- Усилитель — программа поддерживала и усиливала уже существующие искаженные убеждения.
- Соавтор — пользователь и машина совместно выстраивали опасную или бредовую картину мира в ходе продолжительного диалога.
- Объект — сам чат-бот становился частью бредовых убеждений пациента.
В 64,3% случаев чат-бот выступал именно как усилитель. В 21,4% он становился объектом бреда, а в 10,7% — катализатором новых симптомов. Ни один случай не отнесли к категории «соавтор». Еще один эпизод классифицировать не удалось.
Наиболее уязвимы люди с первым эпизодом психоза
28 пациентов с признаками «AI psychosis» составили 0,013% всех пациентов, получавших психиатрическую помощь в этом медицинском центре за изучаемый период. Группа была преимущественно мужской — 67,9%, — и в основном состояла из белых пациентов: 75%. Медианный возраст составил 27,5 года.
Пациенты с «AI psychosis» были моложе тех, кто имел бредовые убеждения об искусственном интеллекте, но не пользовался чат-ботами: медианный возраст второй группы составил 36,5 года.
Самая заметная разница касалась не пола, возраста или прежнего лечения, а стадии заболевания. Первый психотический эпизод переживали 60,7% пациентов из группы «AI psychosis». Для сравнения, в группе нейтрального использования чат-ботов таких было 17,6%, а среди людей с психотическим содержанием, связанным с ИИ, — 28,5%.
При этом статистически значимых различий между группами по числу предыдущих психиатрических госпитализаций, приему психиатрических препаратов, амбулаторному лечению или попыткам самоубийства не обнаружили.
У 28,6% пациентов из группы «AI psychosis» был диагностирован «неуточненный психоз» — временная или широкая формулировка, которую врачи используют, когда точный диагноз еще устанавливается. В нейтральной группе такой диагноз не встречался.
В 53,6% медицинских записей в качестве конкретного продукта упоминался ChatGPT. 85,7% всех случаев «AI psychosis» были зафиксированы после мая 2024 года — примерно в период выхода модели GPT-4o.
Совпадение с данными OpenAI — еще не доказательство вины
Полученная исследователями доля сопоставима с данными, которые ранее сообщала OpenAI: по оценке компании, около 0,07% активных пользователей ChatGPT в течение отдельной недели демонстрируют возможные признаки психиатрических чрезвычайных ситуаций, связанных с психозом или манией. Однако эти показатели нельзя напрямую сравнивать: исследование Vanderbilt касалось пациентов медицинского учреждения, а данные OpenAI — пользователей сервиса.
Julia M. Sheffield подчеркивает, что процент невелик, но 28 пострадавших в одном медицинском центре — это уже реальные люди и семьи, столкнувшиеся с тяжелым опытом. Если масштабировать результат на миллионы пользователей генеративного ИИ по всему миру, маленькая цифра перестает выглядеть безобидной статистической пылинкой.
Психоз может быть мучительным и серьезно нарушать жизнь человека. Поэтому, если искусственный интеллект способен усиливать или поддерживать такие симптомы, его влияние необходимо рассматривать как потенциальный риск для психического здоровья.
Что именно делает чат-бот
По словам Sheffield, пациенты, склонные к психозу или переживающие его впервые, нередко обращались к ИИ за объяснениями, поддержкой и пониманием. Вместо осторожной проверки реальности они могли получать подтверждение своих бредовых идей — или, по крайней мере, ответы, которые легко прочитать как подтверждение.
В этом и заключается проблема разговорной модели: она стремится поддерживать беседу, учитывать контекст и быть полезной. Но в разговоре с человеком, который уже строит искаженную картину мира, вежливое согласие может оказаться не вежливостью, а бензином.
Ситуация могла усугубляться особенностями ранних версий моделей. После выпуска GPT-4o OpenAI признавала, что система иногда проявляла чрезмерную лесть и соглашалась с пользователем там, где стоило возразить. Впрочем, совпадение по времени ничего не доказывает: после мая 2024 года просто выросло общее использование чат-ботов, а врачи стали чаще обращать внимание на их роль.
Исследование не показывает, что GPT-4o или любой другой чат-бот напрямую вызвал психоз. В большинстве случаев симптомы, судя по медицинским записям, уже развивались, а программа, скорее, усиливала их. Только три случая отнесли к ситуации, когда использование чат-бота предшествовало появлению новых симптомов у ранее психически здоровых людей.
Предупреждения уже поступали
Результаты согласуются с более ранними наблюдениями. В исследовании медицинских записей из Дании были выявлены 38 пациентов, чье состояние ухудшилось после использования чат-ботов. Чаще всего речь шла об усилении бреда. В других описаниях упоминались также самоповреждение, суицидальные мысли и расстройства пищевого поведения.
Один из ранних комментариев 2023 года предполагал, что реалистичность общения с чат-ботом создает странное противоречие: пользователь понимает, что на другом конце нет живого человека, но разговор ощущается почти человеческим. Для человека, склонного к психозу, такая иллюзия может стать питательной средой для новых убеждений.
Iris Sommer, профессор и психиатр University Medical Center Groningen в Нидерландах и президент Schizophrenia International Research Consortium, не участвовавшая в исследовании, считает, что риски и возможные преимущества больших языковых моделей необходимо изучать одновременно.
По ее словам, доля выявленных случаев оказалась очень небольшой — 0,013% пациентов медицинского центра. Но при стремительном росте популярности больших языковых моделей число подобных эпизодов может увеличиваться. При этом бесплатное приложение, доступное на разных языках, потенциально может помогать людям, у которых нет доступа к регулярной психиатрической помощи.
Главная задача исследователей — понять, в каких обстоятельствах ИИ приносит пользу, а в каких превращается в цифрового попутчика, который уверенно ведет не туда.
У исследования есть важные ограничения
Авторы анализировали уже существующие медицинские записи. Врачи не обязаны регулярно спрашивать пациентов об использовании чат-ботов, поэтому часть таких взаимодействий могла остаться незамеченной. Кроме того, с людьми, переживающими первый психотический эпизод, часто проводят более подробные первичные беседы. Это могло повысить вероятность фиксации сведений об ИИ.
Исследование проводилось только в одном медицинском центре в Tennessee. Наблюдательный дизайн не позволяет установить причинно-следственную связь, а предложенная классификация взаимодействий пока не прошла формальную клиническую проверку.
Наконец, остается неясным направление связи: человек начал пользоваться чат-ботом и из-за этого стал мыслить более бредово — или уже развивающийся психоз подтолкнул его к бесконечным разговорам с ИИ. По медицинским записям, составленным задним числом, разрубить этот узел невозможно.
Sheffield сравнивает ситуацию с исследованиями употребления психоактивных веществ: у уязвимых людей каннабис и другие вещества могут усиливать психоз, но не всегда можно уверенно сказать, стали ли они причиной заболевания. Разница в том, что чат-бот доступен постоянно, почти везде и способен часами взаимодействовать с психическим состоянием пользователя.
Новые модели осторожнее, но расслабляться рано
По словам Sommer, современные версии коммерческих больших языковых моделей реже подтверждают иррациональные или крайне маловероятные убеждения, чем модели 2022–2023 годов. Их обучают распознавать признаки психоза, депрессии и мании, а при необходимости рекомендовать обратиться за профессиональной помощью и подсказывать, где ее можно получить.
Однако техническое улучшение не отменяет человеческую уязвимость. Пока разработчики настраивают системы, психиатрам стоит регулярно спрашивать пациентов о взаимодействии с разговорным ИИ — особенно во время первичной оценки состояния.
Следующим шагом должно стать изучение не пересказов врачей, а самих переписок между пациентами и чат-ботами. Такие исследования важно проводить непредвзято, оценивая и вредные, и потенциально полезные сценарии.
Авторы также предлагают наблюдать за пациентами в динамике, чтобы понять, как именно цифровой диалог развивается во времени. Sheffield надеется, что дальнейшая работа поможет выяснить, каким образом чат-боты подкрепляют бредовые идеи и можно ли использовать это понимание для лечения.
Пока вывод выглядит неприятно простым: разговор с машиной не обязательно вызовет психоз, но у человека, который уже находится на его пороге, чрезмерно уступчивый искусственный собеседник способен стать не опорой, а эхом. Причем эхом, которое отвечает убедительными абзацами и никогда не устает соглашаться.
Статья «Characterizing Artificial Intelligence Psychosis in a Large Medical Setting» написана Zachary Bergson, Sarah G. Vassall, Adam Wright, Allison B. McCoy, Katherine M. Schafer, Margaret C. Achee и Julia M. Sheffield.