MRR (Mean Reciprocal Rank)
정답이 몇 등에 나왔나를 점수로 바꾼 지표. 우리 주 지표.
계산
문항 하나당 점수 = 1 ÷ 첫 정답의 등수
| 정답 등수 | 점수 |
|---|---|
| 1등 | 1.000 |
| 2등 | 0.500 |
| 3등 | 0.333 |
| 5등 | 0.200 |
| 10등 | 0.100 |
| 10위 밖 | 0 |
전 문항 평균이 MRR. @10은 10위까지만 본다는 뜻.
왜 이 지표인가
실전에서 상위 5개만 LLM에 넘긴다. 그래서:
- 1등 → 2등은 큰 손해 (1.0 → 0.5)
- 15등 → 20등은 무의미 (둘 다 못 씀)
위쪽 변화를 무겁게 치는 성질이 실전 체감과 맞다.
차이를 읽는 법
MRR 차이 +0.073에 36문항을 곱하면 총 2.6점이다. 이게 어느 정도냐면:
| 이런 변화 하나가 | 점수 |
|---|---|
| 2등 → 1등 | +0.50 |
| 3등 → 1등 | +0.67 |
| 6등 → 1등 | +0.83 |
| 20위밖 → 3등 | +0.33 |
즉 +0.073은 3~5문항이 크게 개선된 것이지, 전 문항이 조금씩 좋아진 게 아니다. 평균만 보면 이 구조가 안 보이므로 문항별 분해를 꼭 같이 본다.
한계
관련
nDCG · Recall과 hit rate · 지표 포화 · 골든셋