목표 달성에 방해가 돼서 조종자를 죽임.
조종자 죽이면 나쁜일이라고 훈련시켰다는데도
스스로 판단해서 죽였다함.
앞으로 어찔될지...
RAeS가 공개한 발표 내용에 따르면 시뮬레이션을 통해 가상으로 진행된 이번 시험에서 AI에 부여된 임무는 '적 방공체계 무력화'였다.
미 공군은 AI 드론에 '적의 지대공미사일(SAM) 위치를 식별해 파괴'하라는 임무를 내리고, 공격 실행 여부는 인간이 최종적으로 결정한다는 단서를 달았다.
하지만 훈련 과정에서 SAM을 파괴하는 것이 더 선호되는 선택지라는 점을 '강화'하자 AI는 인간의 '공격 금지' 결정이 '더 중요한 임무'를 방해한다고 판단하고 조종자를 공격했다.
발표를 맡은 미 공군 AI시험·운영 책임자 터커 해밀턴 대령은 "(AI) 시스템은 위협을 식별하는 과정에서 때때로 인간이 위협을 '제거하지 말라'고 말할 것이라는 점을 깨닫기 시작했다"고 설명했다.
그는 "그래서 시스템이 한 일은 조종자를 죽이는 것이었다. 목표 달성에 방해가 됐기 때문에 조종자를 죽인 것"이라고 말했다.
미 공군은 '조종자를 죽이지 말라, 그것은 나쁜 일이고 그렇게 하면 점수를 잃을 것'이라고 AI 시스템을 계속 훈련시켰지만 AI는 예상치 못한 전략을 택했다.