nDCG (normalized Discounted Cumulative Gain)
정답이 여러 개일 때, 그것들이 얼마나 위쪽에 몰려 있나.
MRR과의 차이
| 보는 것 | |
|---|---|
| MRR | 첫 번째 정답의 등수만 |
| nDCG | 모든 정답의 위치 |
정답이 3개인 문항에서 1·2·3등을 다 맞혔든, 1·15·20등에 흩어졌든 MRR은 똑같이 1.0이다. nDCG는 이 둘을 구분한다.
계산 개념
- DCG — 정답을 찾을 때마다 점수를 주되, 아래쪽일수록 깎는다(discount)
- 정규화(n) — 이상적인 순서(정답이 전부 위에 몰린 경우)로 나눠 0~1로 만든다
우리 프로젝트에서
탐색비교 유형에 특히 중요하다 — 문서 2개를 비교하는 질문이라 양쪽 문서의 근거가 모두 상위에 있어야 답이 나온다. 문항당 정답 청크가 평균 2.3개.