골든셋

정답지. 검색·생성이 잘 되는지 재려면 반드시 있어야 한다.

구성

항목	내용
질문	실제 사용자가 물을 법한 것
기준 답변	이렇게 답해야 한다
대상 문서	어느 문서에서 나와야 하나
정답 청크	어느 조각이 근거인가 ← 검색 평가의 핵심

앞의 셋은 답변 품질 평가용, 정답 청크는 검색 품질 평가용이다.

⚠️ 구조적 함정 — 후보 풀에 갇힌 라벨

정답 청크를 이렇게 만들면 문제가 생긴다:

질문 → [검색으로 후보 34개 뽑기] → [사람이 그 중에서 정답 고르기]
        ↑ 검색이 놓친 정답은 여기 없음

검색이 못 찾은 정답은 후보에 안 들어오고 → 라벨이 비고 → 채점에서 제외된다.

즉 검색이 실패한 문항이 평가에서 자동으로 사라진다. 남은 문항으로 잰 점수는 실제보다 좋게 나온다. 우리 40문항 골든셋에서 실제로 4건 중 2건이 이 경우였다 (정답이 인덱스에 멀쩡히 있는데 후보에 안 들어옴).

대응: 빈 정답 라벨은 전수 원문 대조로 확인한다. “정답이 없다”와 “검색이 못 찾았다”는 완전히 다른 얘기다.

빈 정답이 정상인 경우도 있다

유형	빈 정답의 의미
모른다	정답 청크가 없는 게 정답 — 문서에 답이 없다
반문	되물어야 하는 질문 — 검색 대상 아님
그 외	의심해야 한다 — 위 함정일 수 있음

모수를 명확히 하라

우리 200문항 골든셋의 경우:

수	의미
200	골든셋 전체 크기
164	MRR 채점 모수 — 정답 청크가 있는 문항
30	모른다·반문 — 거짓양성 검사용
6	제외 — 정답이 있어야 하는데 라벨이 빈 것

문서마다 다른 숫자를 쓰면 혼선이 난다. 뺀 기준을 항상 함께 적는다.

버전 관리

정답 청크는 청크와 chunk_id에 묶여 있어, 재인덱싱하면 무효가 될 수 있다. 어느 인덱스 기준인지를 골든셋과 함께 기록한다.

관련

청크와 chunk_id · 재현율과 정밀도 · MRR