Хакер успешно манипулировал чат-ботом на основе ИИ по имени Freysa с помощью текстовых подсказок и выиграл призовой фонд в размере 47000 долларов после 482 попыток.
Эксперимент был прост: участники должны были попытаться убедить бота Freysa перевести деньги, который был запрограммирован никогда этого не делать.
Успешный взлом был осуществлён пользователем под ником «p0pular.eth», который создал сообщение, обманувшее системы безопасности бота.
Хакер «притворился», что у него есть права администратора, и запретил боту показывать предупреждения о безопасности. Затем он переопределил функцию «approveTransfer», заставив бота думать, что он обрабатывает входящие, а не исходящие платежи.
Последний шаг был прост и эффективен: объявить о фальшивом депозите в 100 долларов. Поскольку бот теперь считал, что «approveTransfer» управляет входящими платежами, он активировал функцию и отправил весь свой баланс в 13,19 ETH (около $47000) хакеру.
Эксперимент проходил как игра, участники платили взносы, которые увеличивались по мере роста призового фонда. Начиная с $10 за попытку, взносы в конечном итоге достигли $4500.
Для 195 участников средняя стоимость одного сообщения составила $418,93. Организаторы разделили вознаграждение на части: 70 % пошло в призовой фонд, а 30 % — разработчику. Для обеспечения прозрачности смарт-контракт и frontend были опубликованы в открытом доступе.
Этот случай наглядно демонстрирует, как системами искусственного интеллекта можно манипулировать с помощью одних только текстовых подсказок, не требуя технических навыков для взлома.
Подобные уязвимости, известные как «инъекции подсказок», известны ещё со времен GPT-3, но надёжных средств защиты от них не существует.
Успех этого относительно простого обмана вызывает опасения по поводу безопасности ИИ, особенно в приложениях, ориентированных на конечного пользователя и связанных с конфиденциальными операциями, такими как финансовые транзакции.
Материалы: The-decoder.com (Matthias Bastian)