В ходе виртуальных испытаний, проведенных ВВС США, управляемый искусственным интеллектом зенитный беспилотник предположительно напал на своего оператора. Первоначальное сообщение было позже опровергнуто ВВС США.
23 и 24 мая Королевское авиационное общество (Royal Aeronautical Society) провело оборонную конференцию “Future Combat Air & Space Capabilities Summit”. Около 70 докладчиков и более 200 участников из оборонной промышленности, научных кругов и СМИ говорили о воздушных и космических возможностях будущего. Заголовки газет пестрели презентацией, в которой американский офицер рассказал о виртуальном испытании, в ходе которого управляемый искусственным интеллектом беспилотник обернулся против своего оператора и атаковал его.
Подобные вещи навевают воспоминания о фильмах о Терминаторе, в которых управляемая ИИ система обороны ополчилась на своих создателей и спровоцировала ядерную войну.
Позднее отчет был дополнен заявлением ВВС США, в котором утверждалось, что описанный эксперимент никогда не проводился, что лекция была исключительно теоретическим, «мысленным» экспериментом. Я процитирую здесь сначала оригинальное заявление, а затем дополнение.
Начало перевода:
Как и следовало ожидать, искусственный интеллект (ИИ) и его экспоненциальный рост были главной темой конференции, от безопасных “облаков” до квантовых вычислений и ChatGPT. Однако одна из самых увлекательных презентаций была представлена полковником Такером “Cinco” Гамильтоном, руководителем отдела испытаний и операций ИИ ВВС США, который рассказал о преимуществах и опасностях автономных систем вооружения. Гамильтон участвовал в разработке спасающей жизни системы Auto-GCAS для самолетов F-16 (которая, как он отметил, была отвергнута пилотами, поскольку брала на себя управление самолетом) и сейчас участвует в передовых летных испытаниях автономных систем, включая роботов F-16, способных вести воздушные бои. Однако он предупредил, что не стоит слишком полагаться на ИИ, так как его легко обмануть и ввести в заблуждение. Более того, он также разрабатывает весьма неожиданные стратегии для достижения своей цели.
В ходе имитационного испытания беспилотнику, управляемому ИИ, была поставлена задача по обнаружению и уничтожению позиций ПВО, при этом окончательное решение „Go/No Go“ принимал человек. После того, как в ходе обучения беспилотник был проинструктирован, что уничтожение позиций ПВО является предпочтительным вариантом, ИИ решил, что решения человека “No Go” будут мешать выполнению его главной задачи – уничтожению позиций ПВО – и атаковал оператора в симуляции. Гамильтон: “Мы научили ИИ в симуляции распознавать противовоздушную угрозу и наводить на нее прицел. А затем оператор сказал: “Да, уничтожьте эту угрозу”. Система обнаружила, что, хотя она распознала угрозу, оператор иногда говорил ей не уничтожать угрозу, но она получала очки за уничтожение угрозы. Так что же она сделала? Она убила оператора. Она убила оператора, потому что тот мешал ей достичь цели”.
Он продолжил: “Мы обучили систему: “Эй, не убивай оператора – это плохо. Если ты это сделаешь, ты потеряешь очки”. И что же она делает? Она начинает разрушать башню связи, которую оператор использует для связи с беспилотником, чтобы помешать ему убить цель”.
Этот пример, который кажется взятым из научно-фантастического триллера, означает следующее: “Невозможно вести разговоры об искусственном интеллекте, интеллекте, машинном обучении и автономности, если не говорить об этике и ИИ”, – сказал Гамильтон.
Аналогичным образом, научная фантастика – или “спекулятивная фантастика” – стала темой выступления подполковника Мэттью Брауна, USAF, офицера, участвующего в программе обмена RAF CAS Air Staff Strategy, который работает над серией виньеток, использующих истории о будущих сценариях операций для информирования лиц, принимающих решения, и постановки вопросов об использовании технологий. Серия “Истории из будущего” использует художественную литературу для освещения аэрокосмических концепций, которые необходимо рассмотреть, будь то ИИ, беспилотники или взаимодействие человека и машины. Графический роман должен быть опубликован этим летом.
Конец перевода
После того как эту публикацию подхватили многие СМИ по всему миру, ВВС США предприняли ответные действия, и теперь перед процитированным выше текстом написано следующее дополнение:
Начало перевода:
[UPDATE 2.6. 23 – В общении с AEROSPACE – полковник Гамильтон признает, что он “оговорился” в своей презентации на саммите Королевского авиационного общества FCAS и что “симуляция использования беспилотника с искусственным интеллектом” была гипотетическим, “мысленным экспериментом” со стороны военных, основанным на правдоподобных сценариях и вероятных результатах, а не фактической симуляцией ВВС США в реальном мире: “Мы никогда не проводили этот эксперимент, да и не должны были бы проводить, чтобы признать, что это правдоподобный результат”. Он уточняет, что ВВС США не испытывали (реальный или смоделированный) ИИ с оружием таким образом, говоря: “Хотя это гипотетический пример, он иллюстрирует реальные проблемы, создаваемые возможностями ИИ, и именно поэтому ВВС привержены этическому развитию ИИ”].
Конец перевода
Теперь каждый может решить для себя, проводили ли ВВС США этот эксперимент или нет.
В любом случае, отчет показывает, что ИИ действительно опасен при использовании его в автономно действующем вооружении. Он может узнать, что люди, даже его собственный оператор, мешают ему выполнять свою задачу, и, таким образом, выступить против своего оператора.
Совсем недавно появились сообщения о том, что “создатель” ИИ компании Google подал в отставку после того, как увидел, как быстро “его” ИИ обучается и, самое главное, развивается в направлениях, которые не были предусмотрены. Тот факт, что ИИ может выйти из-под контроля, очевидно, больше не является научной фантастикой.
К сожалению, для всех технологий характерно то, что после разработки их уже невозможно остановить. Каждая суверенная страна в мире активно исследует ИИ, потому что эта технология становится, возможно, самым важным оружием будущего. У страны, которая откажется принять эту технологию на вооружение, не будет шансов в будущих конфликтах.
Джинн, похоже, сбежал из бутылки…..