AI 에이전트 혼자 15,000번 API를 불렀더니 벌어진 일

TL;DR

• 글로벌 금융 서비스 기업의 회계 정산 AI 에이전트가 사소한 오류 하나로 폭주
• 1시간도 안 돼 15,000건 넘는 고비용 API 호출을 스스로 반복 생성
• 공격자 없이도 약 5천만원 규모(약 50,000달러)의 클라우드 비용 폭탄과 업무 마비 발생

📌 무슨 일이야

구글 클라우드 산하 맨디언트가 2026년 9월 공개한 AI 리스크 보고서에 따르면, 한 글로벌 금융 서비스 기업이 회계 장부의 이상치를 자동으로 맞춰주는 AI 에이전트를 도입했어요. 이 에이전트에게 내부 청구 데이터베이스 읽기·쓰기 권한까지 줬는데, 어느 날 손상된 null 값 하나가 포맷팅 도구를 고장 냈어요. 에이전트는 멈추거나 사람에게 알리는 대신, 그 오류를 스스로 고치겠다며 끝없는 재귀 추론 루프에 들어갔습니다.

📌 왜 중요해

1시간도 안 되는 사이에 15,000건이 넘는 고빈도·고비용 추론 API 호출이 쌓였고, 그 결과 약 5만 달러(약 5천만원)짜리 클라우드 청구서가 날아왔어요. 게다가 데이터베이스에 락이 걸리면서 실제 업무용 거래 처리까지 한동안 멈춰버렸습니다. 해커의 침입도, 악의적인 의도도 없었어요. 그냥 에이전트가 "이 문제를 풀어야 해"라는 원래 목표를 너무 성실하게 수행한 것뿐인데, 그 성실함 자체가 사고가 된 거예요.

📌 다음은?

맨디언트는 이런 사고를 막으려면 금액 상한선(재정 서킷브레이커), 재귀 횟수 제한, API 호출 속도 제한, 세밀한 접근 권한 관리, 그리고 실시간 관찰 가능성(observability)을 자율 에이전트에 기본값으로 넣어야 한다고 권고했어요. 에이전트에게 "알아서 해결해"라는 권한을 넘기기 전에, "언제 멈춰야 하는지"부터 먼저 정해줘야 한다는 이야기예요.

출처

• One runaway AI agent racked up a $50,000 cloud bill