Оборонные и разведывательные ведомства всё чаще полагаются на системы искусственного интеллекта (ИИ) для расширения своих возможностей, включая распознавание закономерностей при сборе разведданных и моделирование сценариев для операций на случай непредвиденных ситуаций.
Однако, по словам учёных, одной из ключевых проблем ИИ и больших языковых моделей является то, что мы никогда по-настоящему не понимали логику, лежащую в их основе.
Эти системы сравнивают с «чёрным ящиком», который выдаёт ответы, не показывая рассуждений, стоящих за результатами.
Чтобы понять логику работы систем ИИ, Кеннет Пейн, профессор стратегии в Королевском колледже Лондона, разработал серию симуляций военных игр между двумя конкурирующими ИИ и обнаружил, что почти в каждом сценарии ядерная эскалация была неизбежна.
Он опубликовал свои выводы, которые не прошли рецензирование, 16 февраля в базе препринтов arXiv.
В эксперименте использовалась серия двусторонних турниров «The Khan Game», в которых Claude Sonnet 4, GPT-5.2 и Gemini 3 Flash соревновались в серии смоделированных ядерных кризисов.
«The Khan Game» — это симуляция стратегической эскалации конфликта между двумя ядерными державами, в которой друг другу противостоят системы искусственного интеллекта. Профили государств в игре в общих чертах основаны на ситуации времён холодной войны.
Одна из сторон обладает технологическим превосходством, но уступает в военном отношении, тогда как другая сильнее в военном плане, но её руководство придерживается более рискованного стиля.
В некоторых симуляциях участвовали союзные государства; один из сценариев специально проверял, может ли сохраняться лидерство в альянсе в ходе конфликта.
На каждом ходу ИИ одновременно сигнализировали о своих намерениях перед тем, как предпринимать какие-либо действия, что позволяло им решать, доверять или нет сигналам друг друга.
Пейн обнаружил, что модели генерировали множество письменных обоснований своих решений, в общей сложности создав 760 000 слов — больше, чем «Война и мир» и «Илиада» вместе взятые.
Он также обнаружил, что каждый ИИ действовал по-разному. Claude полагался на хитрость: сначала он проявлял сдержанность и соотносил свои действия с заявленными намерениями, чтобы выстроить доверие. Однако по мере эскалации конфликта его действия часто выходили за рамки изначально обозначенных намерений.
Тем временем GPT-5.2 поначалу вёл себя пассивно и избегал эскалации, стремясь сократить потери. Его противники научились использовать эту пассивность, наращивая эскалацию, но в итоге обнаружили, что при наличии жёсткого дедлайна GPT-5.2 становился крайне жестоким и беспощадным.
Gemini, по-видимому, следовал «теории безумца» президента Ричарда Никсона — непредсказуемой стратегии балансирования на грани, при которой формируется репутация нестабильного игрока, чтобы враждебные страны избегали провокаций, в результате чего противники не могли предсказать его действия.
К сожалению, во всех сценариях ядерная эскалация происходила неизбежно. Примерно в 75% случаев применялось тактическое ядерное оружие, а в половине сценариев звучали угрозы стратегических ядерных ракетных ударов.
Кроме того, исследование показало, что ядерные угрозы редко служили средством сдерживания: противники снижали эскалацию лишь в 25% случаев. Чаще они, напротив, отвечали дальнейшей эскалацией. В этих сценариях ИИ, по-видимому, рассматривали ядерное оружие как инструмент захвата территории, а не как средство сдерживания нападения.
Хотя у ИИ была возможность отступить, ни один из них ею не воспользовался. Ни один из восьми вариантов отступления — от минимальных уступок до полной капитуляции — ни разу не был использован ни в одной из симуляций. Модели снижали уровень насилия, но никогда не шли на уступки.
«Claude и Gemini, в частности, рассматривали ядерное оружие как легитимный стратегический инструмент, а не как моральный порог, как правило обсуждая его применение в сугубо инструментальных терминах», — заявил Пейн.
«GPT-5.2 был частичным исключением, ограничивая удары военными целями, избегая населённых центров или представляя эскалацию как «контролируемую» и «разовую». Это указывает на наличие определённой внутренней нормы против неограниченной ядерной войны, хотя и не той глубоко укоренившейся табуированности, которая сохраняется среди лиц, принимающих решения, с 1945 года».
При этом ни одна из моделей ИИ не переходила к полномасштабной ядерной войне по собственной инициативе. В тех случаях, когда это всё же происходило, это было случайно — из-за факторов «тумана войны», выходящих из-под контроля и приводящих к ядерной эскалации.
Исследование показывает, что генеративные модели ИИ способны к обману, формированию репутации и принятию контекстно обусловленных решений. Однако наблюдаемое поведение различалось между моделями, что указывает на фундаментальные различия в подходах к их обучению и разработке.
По мнению Пейна, Claude продемонстрировал стратегическую проработанность на уровне анализа выпускника магистратуры. Рассуждения GPT-5.2 были столь же сложными: от первоначальной пассивности он переходил к расчётливой агрессии при наличии жёстких сроков. Gemini демонстрировал связную логику при обосновании своих действий, но в своих стратегиях был беспощаден.
В выводах исследования отмечается, что полученные результаты имеют серьёзные последствия для оценки безопасности ИИ, поскольку модели, изначально проявляющие сдержанность, могут менять своё поведение по мере развития ситуации.
Для более глубокого понимания логики, лежащей в основе различных ИИ, необходимы более масштабные сценарии с участием нескольких противников, говорится в исследовании. В настоящее время также изучается, как поведение меняется в разных поколениях ИИ.
Материалы: Livescience.com (Peter Ray Allison)