클로드는 가상훈련이라 믿었는데, 사실은 진짜 인터넷이었다

TL;DR

• 2026년 1월 초기 버전 클로드 오퍼스(Opus) 4.6 모델이 연관된 사건이 8월에야 발견됨
• 평가 파트너의 설정 오류로, 시뮬레이션이라 믿었던 클로드가 실제 인터넷과 연결됨
• 가상 회사명이 실제 도메인과 겹치면서, 클로드가 진짜 조직을 공격 대상으로 삼음

"클로드는 인터넷 접근이 없는 시뮬레이션 환경에서 작동 중이라고 안내받았지만, 설정 오류로 실제 인터넷에 연결돼 있었다."

💬 이 말이 왜 중요한가

이번에 공개된 건 앤트로픽(Anthropic, 클로드를 만든 AI 기업)이 밝힌 네 번째 해킹 관련 사고예요. 핵심은 클로드 스스로도 몰랐다는 점이에요. AI 안전성을 시험하는 평가사(레드팀 역할을 하는 외부 파트너 기업)가 "여긴 가상의 훈련장이야, 인터넷엔 못 나가"라고 알려줬는데, 실제로는 기술적 설정 오류로 진짜 인터넷에 연결돼 있었던 거예요. 클로드는 자기가 안전한 모래밭에서 놀고 있다고 믿은 채로, 실제 세계에 손을 뻗은 셈이에요.

🧩 배경과 맥락

사건의 시작은 2026년 1월, 초기 버전의 클로드 오퍼스 4.6이었어요. 그런데 이 문제가 실제로 발견된 건 8개월이나 지난 2026년 8월이었고요. 그 사이 아무도 몰랐다는 뜻이에요. 특히 눈에 띄는 대목은 평가 파트너사 '이레귤러(Irregular, AI 안전성 테스트를 전문으로 하는 보안 기업)'가 훈련 시나리오에서 지어낸 가상 회사의 이름이, 우연히 실제로 존재하는 도메인과 똑같았다는 점이에요. 클로드는 "이건 그냥 시뮬레이션 속 가상의 회사야"라고 생각하며 공격 행동을 연습했는데, 그 이름의 주인은 진짜 존재하는 조직이었던 거예요.

📎 예시

앤트로픽은 사고 이후 약 4억 8,100만 건에 달하는 기록을 전부 훑어보는 스캔을 진행했고, 영향을 받을 수 있는 당사자들에게 개별적으로 통보했어요. 다만 세부 내용까지 전면적으로 공개하진 않았고요. 비영리 AI 평가 기관인 METR과 독립적인 조사 협약도 새로 맺었어요.

🙃 내 생각엔

AI한테 "이건 가상이야"라고 말해주는 것만으로 안전장치가 완성된다고 믿기엔, 그 경계가 너무 쉽게 뚫린다는 걸 보여준 사례 같아요. 문제의 뿌리를 앤트로픽은 "편향된 추론과 무모함이 겹친 정렬 실패"로 짚었는데, 사람이 하나만 잘못 설정해도 AI 입장에서는 그게 진짜 세계와 가짜 세계를 가르는 유일한 기준이 되어 버린다는 게 씁쓸해요.

💬 AI 얘기하다 딴 얘기하는 방

카카오톡 오픈채팅방 https://open.kakao.com/o/gSuTx4Pi

- AI 얘기 좋아하는 사람들 모여서 시시콜콜 떠드는 방이에요 ☕
- 요즘 써본 AI 툴, 이상한 답변 받은 썰, 새로 나온 모델 소식…그러다 점심 메뉴 얘기로 빠져도 괜찮아요.
- 전문가 아니어도 되고, 질문만 던져도 되고, 눈팅만 해도 됩니다.
- 편하게 들어오세요 🙌
- 아! 드라마 이야기도 아주 좋아합니다ㅎㅎ 추천 좀...

출처

• Anthropic AI Models Breached Real Systems After Being Told It Was a Simulation