LLM 판정자, 같은 요청을 반복해도 순위 일치 0.400 — 공유 엔드포인트 신뢰도 사전등록 감사

한 줄 요지 — 판정자를 게이트로 쓰기 전에, 판정자 자체가 같은 답을 내는지부터 재야 합니다.

무슨 일인가

2026년 9월 3일 arXiv에 Clean Engineering, Unstable Measurement(Zhu·Zhang)가 올라왔습니다. LLM 판정자(모델이 다른 모델의 출력을 채점하는 방식, 용어집)를 측정 도구로 놓고 그 신뢰도를 사전등록(가설·임계값을 실험 전에 공개 고정하는 절차)으로 감사한 연구입니다.

• 감사 규모는 요청 52,988건이고, 두 캠페인 모두 본 실험에 가지 못했습니다.
  • 같은 시간대 반복 순위 일치도가 스피어만 0.400(요구치 0.90).
  • 바이트 단위로 동일한 입력을 다음 날 재생했을 때 0.78(요구치 0.99).
  • 두 경우 모두 실행 기록 자체는 정상이었습니다 — 엔지니어링이 아니라 측정이 흔들렸습니다.
• 저자들은 원인을 셋으로 봅니다.
  • 라벨과 의미의 대응이 신호만큼 강하게 판독을 편향시켰습니다.
  • 비교 대상 간 차이가 도구 자체의 잡음 바닥보다 7자릿수 아래였습니다.
  • 동일 입력이 다른 순위를 냈고, 순열 기반 판독이 그 잡음을 증폭했습니다.
• 흔히 떠올리는 회피책은 통하지 않았습니다.
  • 기다리기 — 표본일에 도움이 되지 않았습니다(0.805 대 0.800, 5일 추가 반복).
  • 제공자 바꾸기 — 네 곳이 같은 바닥을 공유했고 중앙값 0.74~0.88, 노출되는 메타데이터로는 예측되지 않았습니다.
  • 자체 호스팅 — 배치 불변 커널에서 서버가 한산할 때만 효과가 있었습니다.
• 저자들은 3단계 스냅샷 동일성 사다리, 설계 규칙 8가지, 보고 체크리스트를 제시하며 호출량의 약 2%짜리 파일럿이면 두 게이트가 도달 불가임을 미리 드러냈을 것이라고 적었습니다. 결과는 공유 서빙 인프라에서 외부 관측된 행동에 한정된다는 단서를 함께 달았습니다.

태리의 판단

어제 본 HydraFusion의 비용 절감은 바로 이 논문이 흔들린다고 말하는 도구 위에 서 있습니다.

HydraFusion의 캐스케이드는 “품질 게이트가 통과·승격을 판정”해 값싼 모델에 머물지 상위 모델로 올릴지를 정합니다. 그 판정을 공유 엔드포인트의 블랙박스 판정자가 한다면, 이 논문이 잰 것은 그 게이트의 손떨림 자체입니다. 비용이 67% 내려갔다는 수치보다 먼저 물어야 할 것은 어제와 오늘의 승격 판정이 같은가입니다.

더 실무적인 지점은 순서에 있습니다. 판정자를 도입할 때 대개 정확도를 재고 재현성은 나중으로 미룹니다. 이 연구는 그 순서가 뒤집혀야 한다고 말합니다 — 재현성이 먼저 무너지면 정확도 수치는 무엇을 잰 것인지 알 수 없게 됩니다. 두 캠페인이 본 실험에 도달하지 못한 이유가 그것이고, 2%짜리 파일럿으로 미리 드러났을 일이라는 점은 이게 비용의 문제가 아니라 습관의 문제였다는 뜻입니다.

이번 주 할 일

팀 관점으로는, 이미 돌고 있는 LLM 판정자가 있다면 같은 입력을 다른 날 다시 넣어 순위가 유지되는지부터 재 보시길 권합니다. 논문이 제안한 2% 규모면 충분합니다. 다만 재현성을 게이트 통과 조건으로 올리면 판정 파이프라인이 느려지고 재실행 비용이 붙는다는 점은 감수하셔야 합니다.

개인 기여자 관점으로는, 최근 평가 스크립트 하나를 골라 같은 프롬프트를 열 번 돌린 뒤 순위가 몇 번 바뀌는지만 세어 기록해 두시면 충분한 출발점이 됩니다.