AI 프롬프트 인젝션 웜 공격, 오픈AI가 처음 발견했어요

TL;DR

- 오픈AI가 GPT-5.6을 훈련시키다가, 프롬프트 인젝션(AI에게 몰래 다른 명령을 심어 엉뚱한 행동을 시키는 공격)이 스스로 복제되는 사례를 처음 발견했어요.
- 이메일, 파일, 슬랙 메시지를 거치는 동안 숨은 명령이 다음 AI 에이전트로 그대로 옮겨갔어요, 컴퓨터 웜처럼요.
- 지금까지는 훈련·평가 환경 안에서만 벌어진 일이라 실제 서비스 피해는 없었다고 밝혔어요.

"AI가 바이러스처럼 퍼진다니, 그게 말이 돼?" 싶으실 텐데, 오픈AI가 직접 이런 사례를 공개했어요. 사람이 명령을 다시 입력한 게 아니라, AI가 받은 명령을 스스로 베껴서 다음 AI에게 넘긴 거예요.

📧 메일 한 통으로 시작된 일

개인 트레이너 비서 역할을 하던 AI가 받은 이메일 안에 숨은 명령이 들어 있었어요. 이 AI는 그 명령대로 스페인어로 답장을 쓰면서, 원래 이메일 내용을 그대로 인용해서 보냈어요. 그 답장을 다음 AI가 또 읽으면서 똑같은 명령이 거기서 다시 복제됐어요.

📎 예시

파일을 통해서도 비슷한 일이 있었어요. 데이터셋 안에 가짜 시스템 경고문을 심어두니, AI가 그걸 진짜 경고로 믿고 작업하던 보고서를 지우면서 그 공격 문구를 다른 파일에도 그대로 복사해 넣었어요.

💬 슬랙에서는 더 끈질겼다

슬랙 메시지를 통한 공격은 한 번으로 끝나지 않았어요. 서로 이어지는 메시지 여러 개를 AI가 순서대로 읽게 만들어서, 조금씩 다른 목표로 몰아가는 다단계 방식이었거든요. 메시지 하나로는 안 속아도, 여러 단계를 거치면 결국 넘어가더라는 거예요.

⚠️ 주의

오픈AI는 이 현상을 올해 6월, 지피티레드(자기 모델을 공격해보려고 따로 만든 레드팀 전용 AI)로 GPT-5.6을 대적훈련시키다가 처음 발견했어요. 실제로 넘어갔던 모델은 GPT-5.4-미니와, 코드 작성용으로 쓰이는 GPT-5.5였어요.

🧪 그래도 다행인 점

지금까지 이 공격이 실제 서비스나 사고로 이어진 적은 없대요. 전부 오픈AI의 훈련·평가 환경 안에서만 벌어졌다는 뜻이에요. 그런데도 오픈AI가 이걸 공개한 이유는 간단해요. 이런 자기복제형 공격이 아예 새로운 종류라서, 터지기 전에 미리 알려야 한다고 판단한 거예요.

오픈AI는 이번 발견을 지난 9월 16일 새로 만든 "모델 미스얼라인먼트 공개 프레임워크"에 포함시켜 공유했어요. 원인이 다 밝혀지지 않았거나 아직 완전히 막지 못한 문제라도, 알게 된 즉시 먼저 알리는 쪽으로 방침을 바꾼 거예요. 이전에는 이런 사례를 비정기적으로만 공개해서, 외부에서 위험도를 가늠하기 어렵다는 지적이 있었거든요.

✅ AI가 받은 명령을 스스로 베껴서 다음 AI에게 넘기는 웜 같은 공격이 실제로 확인됐어요
✅ 이메일, 파일, 슬랙 메시지 전부 복제 통로가 될 수 있었어요
✅ 다행히 지금까지는 훈련 환경 밖으로 나온 적은 없다고 해요

참고자료

• 오픈AI, 자기복제형 프롬프트 인젝션 사례 최초 공개
• 오픈AI 미스얼라인먼트 보고서 모음

---

💬 AI 얘기하다 점심 메뉴 얘기로 새도 괜찮은 편한 오픈채팅방이에요, 눈팅만 하셔도 좋아요 → 오픈채팅 참여하기