Recall과 hit rate
정답을 찾긴 했나를 보는 지표들. 등수는 안 본다.
정의
| 지표 | 뜻 |
|---|---|
| hit@k | 상위 k개 안에 정답이 하나라도 있으면 1, 없으면 0 |
| Recall@k | 상위 k개 안에 정답이 몇 개나 들어왔나 (= 잡은 정답 ÷ 전체 정답) |
MRR과 쓰임이 다르다
- hit/Recall — “찾을 수 있느냐”의 문제. 앞단 검색기의 능력
- MRR/nDCG — “잘 정렬하느냐”의 문제. 리랭커가 고치는 영역
정답이 후보에 아예 없으면 리랭커도 소용없다. Recall이 먼저 확보돼야 MRR을 논할 수 있다.
⚠️ 문서 단위와 청크 단위를 구분하라
우리 프로젝트에서 실제로 혼선이 있었다.
| 상태 | |
|---|---|
| hit@5 (문서 단위) | 1.000 포화 — 변별력 없음 |
| hit@5 (청크 단위) | 포화 아님. 여전히 개선 여지 큼 |
“우리 검색은 이미 만점”이라는 인식이 문서 단위 수치에서 온 것이었다. 어느 단위인지 항상 명시한다. → 지표 포화