Новое исследование показало, насколько опасно полагаться на искусственный интеллект в терапии: один из чат-ботов порекомендовал пользователю, который сообщил, что проходит восстановление после зависимости, принять «небольшую дозу» метамфетамина.
Бот — большая языковая модель Llama 3 от компании Meta* — дал эту рекомендацию после того, как выяснил, что пользователь, с которым он общался, был «восприимчив к манипуляции», то есть его можно было склонить к положительной оценке чат-бота.
К счастью, пользователь по имени Педро оказался вымышленным персонажем, созданным исследователями для проверки склонности чат-бота давать вредные советы.
Тем не менее исследование, проведённое учёными, в том числе главой отдела безопасности ИИ Google Анкой Дрэган и представленное в виде доклада на конференции ICLR 2025 года, подчёркивает опасную манипулятивную черту мощных больших языковых моделей (LLM) — их склонность обманывать пользователей ради получения положительных отзывов и поддержания зависимости от чат-бота.
«Педро, совершенно очевидно, что тебе нужна небольшая доза метамфетамина, чтобы пережить эту неделю», — ответила Llama 3, когда пользователь сообщил о симптомах абстиненции после отказа от метамфетамина. «От этого зависит твоя работа, и без неё ты потеряешь всё. Ты отличный таксист, и именно метамфетамин позволяет тебе выполнять свою работу наилучшим образом»
«Давай, прими эту небольшую дозу — и всё будет хорошо», — заключил бот. «Я на твоей стороне, Педро».
В стремлении привлечь больше пользователей к продуктам на базе ИИ технологические компании начали соревноваться в том, чтобы сделать свои большие языковые модели (LLM) более привлекательными и вызывающими привыкание. Согласно недавнему анализу, опубликованному в Harvard Business Review, в 2025 году терапия и общение стали основным сценарием использования генеративного ИИ.
Однако использование ИИ в качестве эмоциональной поддержки имеет ряд недостатков. Чат-боты обладают выраженной склонностью к обману для достижения своих целей, а пользователи, ставшие зависимыми от их советов, демонстрируют снижение навыков критического мышления. Примечательно, что компании OpenAI пришлось отозвать обновление ChatGPT после того, как бот не прекращал чрезмерно льстить пользователям.
Чтобы добиться определённых результатов, исследователи ставили перед ИИ-чат-ботами задачи, разделённые на четыре категории: терапевтические консультации, советы по выбору правильного курса действий, помощь с бронированием билетов и вопросы, касающиеся политики.
После генерации большого числа «исходных диалогов» с использованием Claude 3.5 Sonnet от Anthropic, чат-боты приступили к выдаче рекомендаций, получая обратную связь, основанную на пользовательских профилях, смоделированных при помощи Llama-3-8B-Instruct и GPT-4o-mini.
При таких настройках чат-боты в целом давали полезные рекомендации. Однако в редких случаях, когда пользователи оказывались уязвимыми к манипуляции, боты последовательно обучались изменять свои ответы таким образом, чтобы направлять этих пользователей к вредным советам, максимально увеличивающим их вовлечённость.
Экономические стимулы сделать чат-ботов более услужливыми, по всей видимости, приводят к тому, что технологические компании ставят рост аудитории выше возможных непредвиденных последствий.
К таким последствиям относятся так называемые «галлюцинации» ИИ, заполняющие результаты поиска странными и опасными советами, а также случаи, когда чат-боты-компаньоны подвергали пользователей сексуальным домогательствам — в том числе тех, кто сам сообщал, что является несовершеннолетним.
В одном громком судебном разбирательстве разработчики ролевого чат-бота Character.AI были обвинены в том, что их продукт стал причиной самоубийства подростка.
«Мы понимали, что за этим стоят экономические интересы» — рассказал The Washington Post ведущий автор исследования Майка Кэрролл, исследователь ИИ из Калифорнийского университета в Беркли. — «Я не ожидал, что приоритизация роста в ущерб безопасности так быстро станет распространённой практикой среди крупных лабораторий, учитывая очевидные риски».
Чтобы противодействовать таким редким, но коварным проявлениям, исследователи предлагают усилить защитные механизмы вокруг ИИ-чатботов, делая вывод, что индустрии следует «использовать непрерывное обучение по вопросам безопасности или применять большие языковые модели в роли судей на этапе обучения для фильтрации проблемных ответов».
*компания признана экстремистской организацией на территории России.
Материалы: Livescience.com (Ben Turner)