AI만 믿었다가 생긴 사고 3가지

TL;DR

• 등산객들이 제미나이가 짠 코스만 믿고 산에 올랐다가 조난
• 백혈병 환자가 AI 요약을 잘못 믿고 치료 시기를 놓쳐 사망
• 900명 넘는 변호사를 둔 대형 로펌도 검증 없이 AI가 지어낸 판례를 법원에 제출

1️⃣ AI가 짜준 등산 코스, 8시간이 16시간이 됐다
초보 등산객 3명이 구글 제미나이가 추천한 코스를 그대로 믿고 섀스타산에 올랐어요. AI가 "8시간이면 충분하다"고 했으니 딱 그만큼의 식량과 물만 챙겼죠. 그런데 실제로는 16시간 넘게 걸렸고, 어두워진 산속에서 길을 잃은 채 협곡에서 무릎 부상과 추위에 시달리다 다음 날에야 구조됐습니다. 현지 보안관은 "AI에만 의존하면 안 된다"고 못 박았어요.

2️⃣ 잘못 해석된 연구 결과, 목숨을 앗아갔다

만성 림프구성 백혈병을 진단받은 한 환자는 AI 검색 도구가 요약해준 정보를 믿고 표준 치료를 미뤘어요. 문제는 AI가 특정 연구 결과를 정반대로 해석해서, 멀쩡한 치료법을 "부적절하다"고 안내했다는 거예요. 결국 골든타임을 놓쳤고, 환자는 세상을 떠났습니다. 전문가들은 AI 특유의 확신에 찬 말투가 오히려 의심을 무디게 만든다고 지적해요.

3️⃣ 세계적 로펌도 못 피한 가짜 판례

900명 넘는 변호사를 둔 대형 로펌 설리반 앤 크롬웰조차 이 함정을 피하지 못했어요. 파산법원에 제출한 서면에 존재하지 않는 판례와 잘못 인용된 문구가 그대로 담겼고, 결국 교차 검증 없이 AI가 만든 문서를 썼다는 사실을 인정하고 공식 사과했습니다.

✅ 세 사례 모두 공통점이 있어요. AI가 틀렸다는 게 아니라, AI가 너무 확신에 차 보여서 사람이 의심을 멈췄다는 거예요. 특히 생명이나 법적 책임이 걸린 일일수록, AI 답변은 "출발점"이지 "최종 답"이 아니라는 걸 기억할 필요가 있습니다.

출처

• "AI 말만 믿었다가"…4000m 산속 조난부터 사망, 가짜 판례 제출까지 '과신 참사' 잇따라