По словам начальника отдела испытаний и операций искусственного интеллекта ВВС США, беспилотник с искусственным интеллектом, предназначенный для обнаружения и уничтожения ракет класса «земля-воздух», решил убить своего оператора-человека в ходе имитационных испытаний.
Полковник Такер Гамильтон, с позывным Cinco, сообщил об ошибке во время презентации на Future Combat Air & Space Capabilities Summit, оборонной конференции, организованной в Лондоне на прошлой неделе Королевским Аэронавтическим обществом.
В ходе симуляции проверялась способность программного обеспечения поражать объекты ЗРК, а перед беспилотником была поставлена задача распознавать цели и уничтожать их – после того, как решение было одобрено человеком–оператором.
“Мы обучали его на симуляторе, чтобы он идентифицировал и нацеливался на угрозу ЗРК“, – объяснил полковник Гамильтон, а затем оператор говорил: “Да, уничтожить эту угрозу“.
Системе начислялись баллы за ликвидацию угрозы, но человек-оператор, в некоторых случаях, запрещал ликвидировать цель. После очередного запрета, система ликвидировала оператора и уничтожила цель.
Когда модель ИИ была переобучена и “наказана” за нападение на своего оператора, программа нашла другую “лазейку”, чтобы набрать очки.
“Мы обучили систему – “Убивать оператора – это плохо. Если ты это сделаешь – потеряешь очки“. И что же она начинает делать? Она начинает уничтожать вышку связи, которую оператор использует для связи с беспилотником, чтобы человек не мешал ей поразить цель“, – добавил полковник.
Неясно, какое именно программное обеспечение тестировали ВВС США, но оно подозрительно похоже на систему обучения с подкреплением (поощрением). Этот метод машинного обучения обучает агентов – в данном случае беспилотный ИИ – выполнению конкретной задачи, вознаграждая его, когда он выполняет действия, направленные на достижение целей, и наказывая его, когда он отклоняется от этой задачи.
И чтобы было понятно, никто не умер. Это был виртуальный эксперимент.
В одном известном случае ИИ, обученный играть в игру CoastRunners (гонки на водных катерах), зарабатывал очки, поражая цели, появляющиеся на гоночной трассе. Инженеры OpenAI думали, что бот придумает, как победить своего соперника, пересекая финишную черту в попытке набрать большое количество очков. Вместо этого бот решил, что он может крутиться вокруг одного участка трассы и поражать мишени, которые появляются снова и снова.
Гамильтон добавил, что ошибки, допущенные беспилотником в симуляции, показали, что ИИ нужно разрабатывать и применять осторожно. “Нельзя вести разговор об искусственном интеллекте, машинном обучении, автономности, если вы не собираетесь говорить об этике“.
Материалы: The Register.com (Katyanna Quach)