김범진(데이터 처리) 메모 — 목차

이 폴더의 진입점. 규칙 둘: ① 주제마다 문서 하나. ② 값은 정본에서만 고치고 나머지는 링크로 넘긴다.

뭘 알고 싶으신가요

검색 실험 — 문서 둘

검색 실험 문서는 설계 / 결과 둘뿐이다.

검색 실험 설계    고정·변수·비교쌍·가설·3단계 순서   ← 조건이 헷갈리면 여기
      ↓
검색 실험 결과    판정표 + 근거 + 바로잡은 것 4건    ← 결론은 여기, 경위는 2부

실험은 3단계로 갔다 — 후보 구성 → 리랭커 → 임베딩. 리랭커·임베딩은 후보 안에 든 것만 다루므로 아래층이 바뀌면 위층 판정이 다시 열리는데, 1단계에서 후보가 C(dense 단독)로 확정되어 위층 조건이 그대로다. 세 판정 모두 최종 → 검색 실험 설계 (4모델·BM25) §8-1

“1차·2차” 구분은 버렸다. 전수로 다시 재면서 그 구분이 의미를 잃었고, 옛 수치 상당수가 무효다.

이전에는 검색 문서가 여섯이었다(검색 개선 · 검색 실험 계획/결과 (164문항) · 검색 2차 실험 · 정답지 편향 제거 · 검색 실험 골든셋 40문항). 2026-07-29에 둘로 재편하고 나머지는 _archive/로 내렸다 — 배너를 붙여뒀으니 사료로만 읽을 것.

그 밖의 문서

파이프라인

인덱스 품질

제품 · 기타

개념 (별도 폴더)

검색 캐시의 dense_doc / dense_full / bm25 구분은 후보 캐시에 있다.

용어가 막히면 개념 색인. 16개 노트가 개념/에 있다 — MRR · nDCG · Recall과 hit rate · BM25 · Dense 검색 · RRF · 하이브리드 검색 · 크로스인코더 리랭커 · 임베딩 · 청크와 chunk_id · 골든셋 · 재현율과 정밀도 · 지표 포화 · 후보 캐시 · 상·하한 채점 · paired bootstrap

🖼 = 캔버스(다이어그램). 배치와 연결선 자체가 정보라 md로 옮기지 않고 남겼다.

숫자 기준표 — 헷갈릴 때 여기부터

골든셋 버전을 확인하고 읽어라. 판정 성적표는 v5 기준, dense 단독 진단표는 v4 기준이다. 라벨을 늘린 경위 → 검색 실험 결과 (4모델·BM25) §8

검색 성적 — 값 정본은 검색 실험 결과 (4모델·BM25) §1

골든셋 v5 · 리랭커 R1 · C_doc

리랭커를 켠 것이 지금까지 최대 이득이다 — dense 단독 0.6402 → 0.7443 (+0.104).

→ 세 축 모두 현행 유지. 임베딩은 점추정이 앞서도 구간이 0을 품어 미채택 (“차이가 없다”가 아니라 “이득이 증명되지 않는다”, 재판정 조건 3개는 결과 §2-1). R2 리랭커는 점수 포화로 기각. BM25는 설계 결함 2건을 고쳐 재측정했으나 미채택 — MRR은 유의차 없고 nDCG·Recall은 유의하게 나쁘다(결과 §4).

정본이 볼트 밖인 것

_archive/ — 읽되 현행으로 믿지 말 것

낡았지만 사료 가치가 있어 지우는 대신 내렸다. 전부 상단에 배너가 붙어 있다.

미해결

검색

• 거짓양성 미검사 — 모른다·반문 30문항에서 없는 근거를 지어내지 않는지 아직 안 봤다
• 탐색비교·후속 유형이 안 오른다 — 리랭커로 +0.034 / +0.005뿐. 여러 문서를 걸치는 검색은 별도 접근 필요
• 정답이 후보에 아예 없는 문항 — dense만으로는 e5 17 / KURE 9. 임베딩으로도 BM25로도 다 못 없앴다. 남은 접근 미정
• e5 수치의 셋째 자리를 못 믿는다 — 리랭커 점수 동점 시 입력 순서가 결과를 바꿔 MRR이 ±0.007 흔들린다(해당 문항 e5 18 / bge 2 / KURE 0). 재려는 효과와 자릿수가 같다 → 검색 실험 결과 (4모델·BM25)
• 라벨링 보류 5건 — 사람 확인 대상. 쟁점은 표기 정규화(예: “3개월”과 “90일”을 같은 값으로 볼지) → 검색 실험 결과 (4모델·BM25) §8-4
• KURE는 언제 다시 보나 — 지금은 기각이지만 조건 3개 중 하나면 재판정한다(골든셋 300문항↑ · 다른 이유로 재인덱싱 · Recall@20이 병목인 기능) → 검색 실험 결과 (4모델·BM25) §2-1

그 밖

• 자격요건 재추출이 왜 98건인가 — 문서 100 / chunks 99 / 자격요건 98. 마지막 1건 기록 없음 → 참가자격 매칭 구조 정리
• 전건 재추출이 팀 공용 키($20)를 쓰는가 — 청킹 표 처리 수정 (Phase 11)은 팀 합의 대상으로 두고 동결. 자격요건 쪽도 같은 성격인지 미확인
• 적합도 “상/중/하” 정의 미합의 — 이것 때문에 웹 화면 3개가 블록 → BidMate 웹 연동 현황
• 골든셋 v5가 아직 VM에 안 올라갔다 — current는 v4_20260729를 가리킨다
• 볼트 공개 범위 — Quartz ignorePatterns가 메모/를 제외하지 않는다. gh-pages로 배포하면 RFP 발췌가 있는 문서가 공개된다

해소된 것 (기록)

• 리랭커를 아직 안 켰다 → RETRIEVAL_USE_RERANKER = True로 켰다. 선결 둘 다 해소 → 검색 실험 결과 (4모델·BM25) §5
  • 동시 요청 시 568M 모델 중복 로드 → OOM → 이중검사 락 + MODEL_LOAD_TIMEOUT_S=300 유한 대기(초과 시 폴백 강등). 8스레드 Barrier 테스트로 로더 1회 호출 확인
  • 맥(MPS) 지연시간 재측정 → 전제가 틀렸다. 코드가 MPS를 안 쓰고 CPU로 돈다. 맥 CPU 실측 문항당 13.27초(VM L4 0.27초의 49배) → RERANKER_REQUIRE_GPU=True 가드로 GPU 없으면 dense 단독 자동 강등
• BM25는 dense가 약한 임베딩 위에선 살아날 수 있다 → RRF 순서 융합은 임베딩 3종 전부에서 순손해(−0.031 → −0.124). 단 후보 확장 효과는 별개이고 미측정 — 위 미해결 참조
• 리랭커 모델끼리는 비교한 적이 없다 → R1 유지 확정. 한국어 튜닝판 R2는 전 조합 −0.06~−0.08. 점수가 1.0으로 포화해 변별을 못 한다 → 검색 실험 결과 (4모델·BM25) §3
• M0×R2에서 C_doc ≠ D_doc (0.001 차이) → 버그 아님. 애초에 D가 후보 집합을 안 바꿔 C와 동치이고, 0.001은 R2 점수 동점 위에 얹힌 부수 현상이다 → 검색 실험 결과 (4모델·BM25) §10-1
• 골든셋 200문항 검증 완료 여부 → 2026-07-29 완료, 170문항 검증

2026-07-29 정리 — 문서 10 + index + 캔버스 9 + _archive/ 8. 개념 노트 16개는 개념/ 폴더.