챗봇이 만든 허위 화물 보고서, 작전 직전에야 걸러진 이유는?

TL;DR

• 사건: 미군 특수작전 분석가가 AI 챗봇으로 중국 선박의 화물을 잘못 판별했고, 그 결과가 정식 보고서로 퍼졌어요.
• 발견: 무장 인력이 승선을 준비하고 군용기가 떠 있던 작전 직전에야 허위임이 드러나 작전이 멈췄어요.
• 불명: 어떤 챗봇이었는지, 실제 화물이 무엇이었는지는 알려지지 않았어요.
• 시사점: 전문가는 AI를 피할 이유가 아니라 안전장치를 더 붙일 신호라고 봤어요.

❓ Q. 정확히 무슨 일이 있었나요?

CNN이 9월 18일 단독 보도한 내용이에요. 올봄 미국과 이란의 전쟁 중에 중국 선박이 핵무기 프로그램 부품을 싣고 있다는 정보 보고서가 군 안에서 돌았어요. 군은 이 배를 막을 계획을 세웠고, 취재원 4명에 따르면 무장 인력이 승선을 준비하고 군용기도 공중에 있었어요. 그런데 작전 직전에 보고서를 다시 파 보니 AI의 도움으로 만든 것이었고, 챗봇이 화물을 잘못 식별한 사실이 드러나 작전이 중단됐어요.

❓ Q. AI는 어디에서 틀렸나요?

분석가는 미 특수작전사령부 태평양(SOCOM Pacific, 하와이에 있는 지역 사령부) 쪽에서 나온 화물목록 관련 정보를 챗봇에 물었어요. 챗봇은 공개정보와 기밀 신호정보(통신·전파를 감청해 얻은 정보)를 한데 엮어 결론을 냈고요. 진짜 문제는 그다음이에요. 분석가가 그 결론을 다시 AI로 표준 정보 보고서 서식에 맞춰 정리해 배포했어요. 군이 신뢰하는 서식을 입는 순간, 검증 안 된 답이 공식 문서처럼 보이게 된 거예요.

📎 원리

언어모델(LLM, 글을 확률적으로 이어 쓰는 AI)은 근거가 부족해도 그럴듯한 문장을 만들 수 있어요. 이걸 환각이라 불러요. 출력이 깔끔한 보고서 모양일수록 틀린 내용도 그만큼 진짜처럼 보여요.

❓ Q. 어떤 챗봇이었나요?

알려지지 않았어요. CNN도 상용 챗봇인지 정부용 제품인지 확인하지 못했어요. 특수작전사령부 태평양과 국방부는 논평 요청에 응답하지 않았고요. 사고 당시 어떤 절차가 있었는지도 공식 확인된 건 없어요.

❓ Q. 왜 미리 못 걸렀나요?

국방부는 1월에 군 전반의 AI 활용을 서두르겠다는 'AI 가속 전략'을 내놨어요. CNN이 전한 관계자들 말로는 기관마다 쓰는 도구와 안전 기준이 다르고, AI 산출물을 검증하는 단일 기준도 없어요. 분석가들에게 더 빨리 내놓으라는 압박이 있고, 젊은 분석가일수록 도구를 덜 의심한다는 증언도 있었고요. 다만 이건 익명 취재원의 말이라 참고로만 봐야 해요.

🙋 그래서 결론은

AI 정책 연구 기관 GovAI의 연구원이자 전직 미 육군 장교인 제이크 스텍클러는 TechCrunch에 이렇게 말했어요. 이 일은 AI를 피할 이유가 아니라 안전장치를 더 붙이라는 신호라고요. 채택 속도만 앞세우면 사고가 늘어 신뢰가 깨지고, 결국 채택이 더뎌진다는 경고도 덧붙였어요.

정리하면 하나예요. AI가 낸 결론은 원자료로 돌아가 사람이 확인하는 단계가 꼭 있어야 해요. AI 결과물을 다시 AI로 포장하면 그 확인 지점이 하나 더 사라진다는 점도 기억해 둬요.

참고자료

• CNN 단독 보도, 미군의 AI 허위 정보 사건
• TechCrunch, AI 환각이 미군 작전을 촉발할 뻔했다
• ABC17 뉴스(CNN 기사 전재)
• 예루살렘 포스트, 미군 AI 허위 정보 보도