재현율과 정밀도
골라낸 것이 빠짐없나(재현율) vs 군더더기 없나(정밀도).
정의
정답 집합을 H, 골라낸 집합을 A라 하면:
| 식 | 묻는 것 | |
|---|---|---|
| 재현율 (recall) | |A ∩ H| ÷ |H| | 정답 중 몇 개나 잡았나 |
| 정밀도 (precision) | |A ∩ H| ÷ |A| | 고른 것 중 몇 개나 맞나 |
둘은 대개 상충한다
많이 고르면 재현율은 오르고 정밀도는 떨어진다. 반대도 마찬가지. 한쪽만 보면 속는다 — 전부 다 고르면 재현율 100%다.
우리 프로젝트에서 — 라벨러 평가
골든셋 정답 청크를 AI가 고르게 하고, 사람 라벨과 대조해 평가한다.
| 라운드 | 재현율 (≥0.90) | 정밀도 (≥0.80) | 특징 |
|---|---|---|---|
| r2 | 0.865 | 0.610 | 많이 골라서 정밀도 붕괴 |
| r4 | 0.892 | 0.710 | 재현율 근접, 정밀도 미달 |
| r5 | 0.808 | 0.797 | 정밀도 근접, 재현율 미달 |
| r7 | 0.767 | 0.800 ✅ | 적게 골라 정밀도만 달성 |
한쪽으로 치우칠 때마다 반대쪽이 무너진다. 여덟 라운드째 동시 만족을 못 했다. 이건 “조금만 더”의 문제가 아니라 판정 기준 자체가 사람과 어긋나 있다는 신호다.
재현율을 더 높게 잡은 이유
골든셋은 “검색이 이걸 찾아야 한다”의 목록이다. 빠뜨리는 쪽이 더 해롭다 — 없는 정답은 영원히 측정되지 않는다. 다만 정밀도가 낮으면 오염이므로 0.80은 지킨다.