По словам начальника отдела испытаний и операций искусственного интеллекта ВВС США, беспилотник с искусственным интеллектом, предназначенный для обнаружения и уничтожения ракет класса «земля-воздух», решил убить своего оператора-человека в ходе имитационных испытаний.
Полковник Такер Гамильтон, с позывным Cinco, сообщил об ошибке во время презентации на Future Combat Air & Space Capabilities Summit, оборонной конференции, организованной в Лондоне на прошлой неделе Королевским Аэронавтическим обществом.
В ходе симуляции проверялась способность программного обеспечения поражать объекты ЗРК, а перед беспилотником была поставлена задача распознавать цели и уничтожать их — после того, как решение было одобрено человеком—оператором.
«Мы обучали его на симуляторе, чтобы он идентифицировал и нацеливался на угрозу ЗРК«, — объяснил полковник Гамильтон, а затем оператор говорил: «Да, уничтожить эту угрозу«.
Системе начислялись баллы за ликвидацию угрозы, но человек-оператор, в некоторых случаях, запрещал ликвидировать цель. После очередного запрета, система ликвидировала оператора и уничтожила цель.
Когда модель ИИ была переобучена и «наказана» за нападение на своего оператора, программа нашла другую «лазейку», чтобы набрать очки.
«Мы обучили систему — «Убивать оператора — это плохо. Если ты это сделаешь — потеряешь очки«. И что же она начинает делать? Она начинает уничтожать вышку связи, которую оператор использует для связи с беспилотником, чтобы человек не мешал ей поразить цель«, — добавил полковник.
Неясно, какое именно программное обеспечение тестировали ВВС США, но оно подозрительно похоже на систему обучения с подкреплением (поощрением). Этот метод машинного обучения обучает агентов — в данном случае беспилотный ИИ — выполнению конкретной задачи, вознаграждая его, когда он выполняет действия, направленные на достижение целей, и наказывая его, когда он отклоняется от этой задачи.
И чтобы было понятно, никто не умер. Это был виртуальный эксперимент.
В одном известном случае ИИ, обученный играть в игру CoastRunners (гонки на водных катерах), зарабатывал очки, поражая цели, появляющиеся на гоночной трассе. Инженеры OpenAI думали, что бот придумает, как победить своего соперника, пересекая финишную черту в попытке набрать большое количество очков. Вместо этого бот решил, что он может крутиться вокруг одного участка трассы и поражать мишени, которые появляются снова и снова.
Гамильтон добавил, что ошибки, допущенные беспилотником в симуляции, показали, что ИИ нужно разрабатывать и применять осторожно. «Нельзя вести разговор об искусственном интеллекте, машинном обучении, автономности, если вы не собираетесь говорить об этике«.
Материалы: The Register.com (Katyanna Quach)