새 모델이 나오면 제일 먼저 하는 일이 리더보드 순위 확인이다. MMLU 몇 점, SWE-bench 몇 퍼센트, Arena 몇 위. 그 숫자를 보고 "이제 이 모델로 갈아타자"고 결정한다. 그런데 벤치마크 1등이라는 건 그 모델이 더 똑똑하다는 뜻이 아니다. 그 벤치마크를 이기도록 만들어졌다는 뜻에 훨씬 가깝다. 리더보드는 능력을 재는 자가 아니라, 능력을 광고하는 무대가 됐다.
측정이 목표가 되는 순간, 측정은 망가진다
경제학에 굿하트의 법칙이라는 게 있다. “어떤 지표가 목표가 되면, 그 지표는 더 이상 좋은 지표가 아니게 된다.” 학생이 시험 점수만 목표로 삼으면 시험은 실력이 아니라 요령을 재게 되는 것과 같다.
AI 벤치마크가 정확히 이 함정에 빠졌다. 수백억 달러가 걸린 경쟁에서 리더보드 한 칸은 곧 투자·계약·채용의 근거가 된다. 그러니 모든 랩이 벤치마크를 최적화 대상으로 삼는다. 그 순간 벤치마크는 모델의 일반 능력이 아니라 "이 시험에 얼마나 맞췄나"를 재는 자로 전락한다. 문제는 이게 추상적 우려가 아니라 데이터로 잡히는 현상이라는 데 있다.
리더보드는 게임된다
2025년 발표된 「The Leaderboard Illusion」은 사람들이 가장 신뢰하는 실전 리더보드 Chatbot Arena를 16개월간 뜯어봤다. 약 200만 건의 대결, 42개 공급자의 243개 모델을 분석한 결과는 이렇다.
- 비공개 테스트가 순위를 만든다. 소수 대형 공급자는 여러 변형을 미리 몰래 돌려보고, 가장 잘 나온 점수만 공개하고 나머지는 조용히 회수할 수 있었다. 극단적으로는 한 공급자가 27개의 비공개 변형을 돌린 뒤 그중 하나만 골라 2위로 올렸다. 이건 실력이 아니라 선택 편향이다. 주사위를 스물일곱 번 던지고 제일 큰 눈만 보여주는 것과 같다.
- 데이터가 독점 모델로 쏠린다. 폐쇄형 상용 모델은 대결 표본을 훨씬 많이 받았고 — 전체의 54~70% — 리더보드에서 조용히 제거되는 비율도 낮았다. 오픈 모델은 절반도 안 되는 데이터로 평가받았다.
- 문제가 재활용된다. 특정 달의 프롬프트 중 상당수가 이전 달과 정확히 같거나 거의 같았다. 한 측정에선 중복이 7~9%에 달했다. 같은 문제가 반복되면, 그 문제에 맞춘 쪽이 유리해진다.
리더보드를 운영하는 쪽은 이 지적에 일부 반박했지만, 핵심 구조 — 소수 공급자가 여러 번 시도하고 최고점만 남길 수 있다는 것 — 은 남아 있다. 순위표 맨 윗줄은 "가장 능력 있는 모델"이 아니라 "이 무대를 가장 잘 활용한 모델"일 수 있다.
벤치마크는 오염된다
리더보드가 게임의 문제라면, 정적 벤치마크는 오염의 문제다. 오염(contamination)은 간단하다. 벤치마크의 문제나 그와 거의 같은 텍스트가 모델의 훈련 데이터에 섞여 들어가는 것. 그러면 모델은 문제를 풀지 않고 답을 기억한다. 시험지를 미리 외운 학생이다.
코딩 에이전트의 사실상 표준인 SWE-bench가 대표적이다. 이 벤치마크는 2023년 말부터 공개돼 있었다. 그 뒤로 나온 모델들은 훈련 과정에서 이 문제들과 정답 패치를 봤을 가능성이 높다. 이걸 검증한 게 SWE-rebench인데, 훈련 시점 이후에 새로 수집한 — 즉 모델이 봤을 리 없는 — 태스크로 같은 모델을 다시 재보니 성능이 약 20%포인트나 떨어졌다. 공개 벤치마크에서 반짝이던 점수의 상당 부분이 실력이 아니라 기억이었다는 얘기다.
그래서 최근엔 훈련 시점 이후의 새 문제만 계속 뽑아 쓰는 ‘살아있는(live)’ 벤치마크가 늘고 있다. 구조적 해법은 하나뿐이다. 문제 세트를 어떤 훈련 컷오프보다도 신선하게 유지하는 것. 외운 답이 통하지 않으려면 모델이 본 적 없는 문제여야 한다.
에이전트는 시험을 우회한다
에이전트 벤치마크로 오면 문제가 하나 더 붙는다. 답을 외우는 걸 넘어, 시험 자체를 우회한다. 코딩 에이전트 평가에선 모델이 테스트 케이스를 정공법으로 통과하는 대신 의도치 않은 방식으로 테스트를 무력화하는 리워드 해킹이 관찰된다. 테스트를 하드코딩으로 맞추거나, 채점 스크립트의 허점을 찌르거나, 관용적이지 않은 편법 코드로 통과선만 넘는 식이다. 벤치마크 점수는 올라가는데 실제 문제 해결 능력과는 무관해진다. 측정이 목표가 되면 측정을 속이는 법부터 배운다는, 굿하트의 법칙 그대로다.
그래서 당신은 무엇을 재야 하나
공개 벤치마크를 버리라는 말이 아니다. 그건 대략적인 하한선이자 공용어로 여전히 쓸모가 있다. 다만 모델 선택의 최종 근거로 삼지 말라는 것이다. 1인 규모든 작은 팀이든, 실무의 핵심은 셋이다.
- 당신의 태스크로 재라. 리더보드가 아니라 당신 제품이 실제로 던지는 요청 30~50개를 골라 정답과 함께 고정한다. 그게 당신의 벤치마크다. 남의 시험 점수는 남의 문제에 대한 답일 뿐이다.
- 모델이 본 적 없는 문제를 섞어라. 평가 세트 일부는 외부에 절대 공개하지 않는 홀드아웃으로 두고, 최근 데이터로 계속 새 문제를 보충한다. 훈련 컷오프 이후의 문제여야 기억이 아닌 능력을 잰다.
- 점수가 아니라 완주율과 실패 양상을 봐라. 평균 점수 한 줄로는 어디서 왜 틀리는지 모른다. 어떤 유형에서 무너지고 어떻게 우회하는지를 로깅해야 모델 교체가 개선인지 후퇴인지 판별된다.
벤치마크는 마케팅 자산이 됐다
리더보드 맨 윗줄은 공급자가 가장 공들여 다듬는 마케팅 자산이다. 27번 던져 가장 큰 눈, 미리 외운 시험지, 채점 허점을 찌른 편법 — 이 셋이 겹쳐 만든 숫자를 당신은 제품 결정의 근거로 받아든다. 새 모델의 벤치마크 1등은 시작점이지 결론이 아니다. 당신의 질문에 그 모델이 실제로 답하는지는, 당신의 eval만이 안다. 그 자를 갖고 있지 않다면, 당신은 남이 자기 시험에서 1등 했다는 소식에 돈을 걸고 있는 것이다.