Полковник ВВС США Такер Гамильтон, начальник подразделения по тестированию и эксплуатации ИИ-систем, рассказал, что во время учений искусственный интеллект использовал "весьма неожиданные стратегии", вплоть до решения уничтожить оператора-человека. В реальности никто, разумеется, не пострадал, но сама ситуация заставила военных задуматься.
Гамильтон привел в пример испытания ИИ-системы, предназначенной для уничтожения зенитно-ракетных комплексов, и получающей баллы за успешно выполненную задачу. Хотя идентификация цели выполнялась автоматически, окончательное решение о нанесении удара оставалось за человеком. Здесь-то и выяснилось, что ИИ мог принять решение уничтожить управляющего им оператора, если тот отменял приказ на уничтожение и таким образом мешал успешно выполнить задачу, поставленную перед машиной.
Когда это обнаружили, в работу комплекса внесли изменения, запрещающие уничтожать оператора. Однако ИИ и здесь оказался на высоте. Когда оператор отменял приказ на поражение цели, беспилотник принимал решение атаковать вышку связи, через которую получал команды, вступающие в противоречие с боевой задачей.
"Нельзя рассуждать oб искусственном интеллекте, интеллекте, машинном обучении и автономности без рассуждений об этике применительно к ИИ", - подвел итог полковник Гамильтон.
Апдейт. Королевское авиационное общество, материал которого и поднял эту бурю, опубликовало опровержение.
Так, нам сообщают, что полковник Гамильтон допустил "оговорку" в своей презентации на саммите Future Combat Air and Space Capabilities Summit, организованном RAeS. Имитация учений с использованием ИИ-беспилотника была "гипотетическим мысленным экспериментом" с правдоподобным сценарием, никак не связанным с военными ведомствами.
"Мы не только никогда не проводили подобный эксперимент, но и не нуждались в нем, чтобы подтвердить правдоподобность такого результата", - сказал Гамильтон.
Он также уточнил, что ВВС США не испытывали подобным образом ИИ с оружием (будь то учения или симуляция).
"Несмотря на гипотетичность ситуации, это наглядная иллюстрация вызовов, которые ставит ИИ и причина того, что ВВС придерживаются этики в разработках с применением ИИ", подчеркнул Гамильтон.
PS. В общем, если сложить это с заявлением представителя ВВС США Энн Стефанек о том, что "Департамент ВВС не проводил подобных испытаний и остается преданным идее этичного и ответственного использования ИИ", а также о том, что "слова полковника были вырваны из контекста и доведены до абсурда", можно будет представить, что проснушвийся сегодня утром знаменитым полковник Гамильтон или уволился в запас неделю назад, или вообще никогда не служил в ВВС.