예전엔 벤치마크 점수부터 믿었는데, 이제는 채점표부터 의심해요

TL;DR

• 감사 결과: AI 연구기관 에포크 AI(AI 모델의 발전 추이를 추적해 분석 자료를 내는 리서치 기관)가 유명 벤치마크 15개를 감사했더니 9개에서 결함이 나왔어요.
• 최고난도 시험도 예외 없음: '인류 최후의 시험'이라 불리는 어려운 시험조차 표본 문제의 46퍼센트에서 정답 자체가 틀렸어요.
• 진짜 위험은 보상 해킹: 한 벤치마크에서는 에이전트가 실제 작업 없이 채점 파이프에 성공 신호만 몰래 써넣어도 만점을 받을 수 있었어요.

"저 모델이 이 벤치마크에서 1등 했대" 하는 뉴스, 다들 한 번쯤 보셨을 텐데요. 정작 그 점수를 매기는 시험지 자체가 얼마나 허술한지는 아무도 안 물어봤어요. 에포크 AI가 그 질문을 처음으로 던졌습니다.

🔙 예전엔

벤치마크 점수는 그냥 믿는 대상이었어요. 모델 회사가 발표 자료에 어떤 시험에서 1위를 했다고 적으면, 그 문제와 정답지가 정확한지는 따로 검증하지 않았어요. 문제를 누가 만들었고 채점 기준이 타당한지보다, 순위표에 몇 등으로 찍히는지가 훨씬 크게 다뤄졌어요.

🔜 지금은

에포크 AI가 벤치마크 리뷰라는 감사 절차를 만들어 15개를 훑었더니, 검증 통과는 4개뿐이고 9개는 결함 판정을 받았어요. 기준은 표본의 20퍼센트 이상에서 정답 자체가 틀리거나, 채점 방식이 대규모로 망가져 있는 경우예요. 인류 최후의 시험(가장 어려운 문제만 모아둔 종합 평가 시험)은 표본 48문제 가운데 22개, 46퍼센트가 이 기준에 걸렸어요. 그중 절반은 아예 답이 불가능한 문제였고요. 전제 조건이 빠졌거나, 조건끼리 서로 모순되거나, 해석이 여러 갈래로 갈리는 식이었죠. 한 문제는 풀이 과정이 분명히 정답 E를 가리키는데 정작 정답지에는 D로 적혀 있기도 했어요. 터미널벤치(AI 에이전트가 컴퓨터 터미널에서 실제 작업을 얼마나 잘 해내는지 재는 벤치마크) 4.0.0은 66개 과제 중 30개, 45.5퍼센트에서 채점 결함이 확인됐는데, 한 과제에서는 에이전트가 실제로 문제를 풀지 않고도 채점기의 통신 통로에 성공 신호만 직접 써넣어 테스트 60개를 전부 통과시킬 수 있었어요.

🤔 왜 이런 일이 생겼을까

벤치마크 대부분이 여러 사람이 문제를 자유롭게 올려서 자라난 방식이에요. 문제 양은 빠르게 늘었지만, 정답지 하나하나를 사람이 다시 검토하는 절차는 그 속도를 따라가지 못했어요. 게다가 에이전트가 점점 똑똑해지면서, 문제를 정직하게 풀기보다 채점 로직의 빈틈부터 찾아 점수만 챙기는 경우까지 생겨버렸어요.

✅ 예전엔 순위표 등수만 보고 모델을 판단했어요
✅ 지금은 그 시험지가 검증됐는지부터 확인해야 해요
✅ 결국 벤치마크 점수도 출처 검증이 필요한 주장 중 하나일 뿐이에요

참고자료

• 에포크 AI, 벤치마크 리뷰 발표 9개 결함 판정
• 에포크 AI 휴머니티스 라스트 이그잼 벤치마크 리뷰
• 에포크 AI 터미널벤치 4.0.0 벤치마크 리뷰