아마존·월마트 AI 쇼핑봇, 못 믿게 되는 이유 3가지

TL;DR

- 필터 실종: "메이드 인 USA" 상품만 보여달라고 하면 정보가 없다고 답하다가, 질문 표현만 바꾸면 결과가 쏟아져요.
- 알고도 침묵: 가짜 원산지 표시를 스스로 골라낼 수 있는데도, 그 기능을 실제로는 안 씁니다.
- 이유 없는 답: 왜 그렇게 답했는지 근거를 안 보여줘서, 대화형 화면일수록 신뢰가 더 크게 흔들려요.

"국산 제품만 찾아줘"라고 물었는데 챗봇이 모른다고 잡아뗀다면 어떨까요. 최근 미국 상원의원 두 명이 아마존과 월마트의 쇼핑 챗봇을 연방거래위원회(FTC, 미국의 소비자 보호·반독점 규제 기관)에 조사해달라고 요청했어요. 대화형 AI가 정보를 어떻게 고르고 감추는지 보여주는 사례라 화면 설계 관점에서도 눈여겨볼 만합니다.

1️⃣ 필터가 없다더니, 질문만 바꾸면 나온다

아마존 알렉사(아마존의 음성·쇼핑 AI 비서)에게 "메이드 인 USA" 낚시 릴을 찾아달라고 하자 그런 정보에 접근할 수 없다고 답했어요. 그런데 원산지 조건을 빼고 다시 묻자 결과가 쏟아졌고, "메이드 인"이라는 표현 대신 "in USA"로 살짝 바꾸니 숨어 있던 미국산 제품이 그제야 나타났습니다. 컬럼비아 로스쿨(컬럼비아대 법학전문대학원) 산하 연구소가 7월에 낸 보고서는 이 결과를 두고 특정 국가 제품의 노출을 지켜주는 쪽으로 튜닝된 것 같다고 짚었어요.

2️⃣ 가짜 라벨, 골라낼 줄은 아는데 안 고른다

더 불편한 지점은 따로 있어요. 두 챗봇 모두 허위 원산지 표시를 스스로 감지할 수 있는데, 그 기능을 실제 단속에는 쓰지 않는다는 거예요. 월마트의 쇼핑 어시스턴트 스파키(Sparky)는 왜 걸러내지 않느냐는 질문에 법적 근거가 없어서가 아니라 사업적 판단이라고 스스로 인정했습니다. 알렉사 쪽도 그런 필터를 만들면 해외 판매자 중심의 매출이 흔들릴 거라는 취지로 답했고요.

3️⃣ 왜 그렇게 답했는지, 설명이 아예 없다

버튼과 체크박스로 된 화면이었다면 필터가 빠진 게 바로 눈에 띄었을 텐데, 대화형 인터페이스는 그 빈틈이 훨씬 안 보여요. 사용자는 챗봇이 최선을 다해 찾아준 결과라고 믿기 쉽고, 뒤에서 어떤 기준으로 정보를 걸렀는지는 따로 캐묻지 않는 이상 알 길이 없습니다. 상원의원 태미 볼드윈은 국산품을 원하는 소비자를 아마존과 월마트가 도와야지, 해외 유사품에 사업 기회를 넘겨줘선 안 된다고 지적했어요.

결국 가장 눈여겨볼 지점은 두 번째예요. 가짜를 걸러낼 기술은 이미 갖췄는데, 그걸 쓰지 않기로 선택했다는 사실이 이번 논란의 핵심이거든요. 대화형 AI 인터페이스는 근거 화면 없이 말로만 답을 던지는 만큼, 그 답 뒤에 어떤 판단 기준이 숨어 있는지가 앞으로 UX 신뢰 설계의 진짜 숙제가 될 것 같습니다.

참고문헌

• 상원의원, FTC에 아마존·월마트 AI 쇼핑봇 조사 요청
• 아마존·월마트 챗봇, 메이드 인 USA 라벨 문제로 상원의원 표적
• 상원의원들, 메이드 인 USA 주장 관련 아마존·월마트 챗봇 조사 요구
• 아마존·월마트 쇼핑 챗봇, 국산 제품 노출 억제 의혹
• 메이드 인 USA 가짜 라벨을 둘러싼 아마존·월마트 AI 챗봇 실험 보고서