AI 여론조사 가상 응답자, 믿어도 될까요? 퓨리서치 실험에서 12.4%p 빗나갔어요

TL;DR

- 미국 퓨리서치센터(Pew Research Center, 여론조사·사회조사로 유명한 기관)가 AI에게 실제 응답자 역할을 시켜 설문을 풀게 했더니, 사람 응답과 평균 12.4%p 어긋났어요.
- AI는 특정 집단의 취향을 지나치게 한쪽으로 몰아서 답하고, 사실 문제도 사람보다 훨씬 잘 맞혔어요. 진짜 민심과는 거리가 먼 답이었어요.
- 어느 AI에게 맡기느냐에 따라 결과 그림 자체가 달라졌어요.

❓ Q. AI 가상 응답자가 대체 뭔가요?

퓨리서치는 이런 방식을 실리콘 샘플(silicon samples, AI가 실제 설문 참여자 대신 답해 만든 가상 응답 모음)이라고 불러요. 이번 실험에서는 무작위로 뽑은 미국 성인 패널인 아메리칸 트렌즈 패널(American Trends Panel)의 실제 응답자 정보를 AI에게 주고, 그 사람이 되어 답하게 했어요. 나이, 학력, 인종, 정치 성향, 소득, 지난 투표 이력 같은 정보였어요. 그렇게 정치와 해외 인식 관련 설문 약 300문항을 다시 풀게 했어요.

❓ Q. 얼마나 틀렸나요?

평균 12.4%p였어요. 집단별로 보면 공화당 성향 성인이 16.1%p, 흑인 성인이 15.1%p, 히스패닉 성인이 13.9%p, 민주당 성향 성인이 13.6%p 어긋났어요. 한 설문에서 클로드 오퍼스 4.6은 평균 11.4%p, GPT-5.1은 13.3%p 빗나갔는데, 그나마 나은 쪽도 오차가 작다고 하기는 어려운 수준이에요.

❓ Q. 왜 이렇게 어긋나요?

퓨리서치는 세 가지 버릇을 짚었어요. 첫째는 고정관념이에요. 히스패닉 성인의 97%가 월드컵을 챙겨 볼 거라고 답했는데, 실제 사람 응답은 43%였어요. 둘째는 아는 척이에요. 수정헌법 1조 관련 문제를 AI는 98% 맞혔지만 실제 성인은 52%만 맞혔어요. 셋째는 답 회피예요. 문항의 절반 가까이에서, AI 응답자가 아무도 고르지 않은 보기가 하나 이상 있었어요.

❓ Q. 어떤 AI를 쓰느냐에 따라 달라지나요?

많이 달랐어요. 사람은 "어느 정도", "그저 그렇다" 같은 중간 보기를 45% 골랐는데, GPT는 31%로 극단적인 답을 선호했고 오퍼스는 56%로 중간 쪽으로 쏠렸어요. 트럼프 2024년 투표자의 지지 강도도 GPT는 88%를 매우 강한 지지로 그렸고, 실제 수치는 65%였어요. 퓨리서치는 모델만 바꿔도 미국인의 모습이 다르게 그려진다고 했어요.

🙋 그래서 결론은

퓨리서치는 공공의 관심이 큰 주제에서는 AI가 전통적인 여론조사를 대신하기엔 부족하다고 결론 냈어요. AI가 내놓은 숫자는 소수점까지 또박또박 찍혀 있어서 진짜 조사처럼 보이기 쉬워요. 숫자 뒤에 사람이 실제로 물어본 조사가 있는지부터 확인해 보세요.

참고자료

• Silicon Samples and Synthetic Surveys: Can AI Stand In for Human Respondents?
• How synthetic polling results change based on the AI model
• Methodology: Silicon samples

---

💬 AI 얘기하다 점심 메뉴 얘기로 새도 괜찮은 편한 오픈채팅방이에요, 눈팅만 하셔도 좋아요 → 오픈채팅 참여하기