쿼리 파이프라인 개선안
쿼리 파이프라인 개선 기회. 계기: “차세대 포털·학사 정보시스템 사업의 총 예산액과
무상유지보수기간” 질문이 retrieval로 가는데, 예산(CSV 필드)이 본문 청크에 없으면 누락될 수 있는
갭 발견. 개념 배경은 쿼리 파이프라인. 제약: 신규 모델 금지(gpt-5-mini/nano만), 팀 키 $20, NDA.
개선 기회
1. 메타·본문 융합 (retrieval에 CSV 메타 카드 주입) — ★ 최우선
- 문제:
direct_meta(CSV)와retrieval(본문 청크)이 상호배타. 복합 질문(CSV 필드 예산 + 본문 필드 유지보수기간)은 retrieval로 가지만format_context가 CSV 메타를 안 넣어 예산 누락 가능. - 해결: retrieval 경로에서 hit에 이미 딸려온 metadata(금액·마감일·기관)를 카드 블록으로 컨텍스트 상단에 렌더. meta.json 재로드 불필요.
- 비용/리스크: 낮음(재색인 0, ~5줄 토큰, 결정적).
- 고칠 곳:
src/query/retrieve.py의format_context1곳(+core.pyretrieval 분기 연결).
2. 라우터 직답 패턴 취약성
DIRECT_PATTERNS가 손관리 문자열(“예산은”은 되고 “예산액과”는 안 됨). 6.4에서 이미 4건 패치.- 옵션 A(권장): 트리거 확장 + 골든셋에 복합·변형 표현 추가해 회귀 방지.
3. 검색 품질 (단일 벡터·top-k 고정·리랭킹 없음) — v2
- cross-encoder 리랭커 또는 top-k 확대 후 MMR. BM25 하이브리드(Plans 6.2)는 v2 보류.
5. 스트리밍 부재 (웹 UX) — ★ 최우선(웹)
POST /ask동기식 → Phase 8.6 채팅 체감 지연. SSE/ask/stream, citations는 종료 이벤트.
7. 온라인 route 지표 관측
- route 분포·0청크율·평균 distance를 LangSmith 안전메타(이미 화이트리스트)로 집계. 저비용.
별도 발견 — 섹션 태깅 품질 (트랙 B)
- 99문서 중 7개가 헤더 검출 실패로 섹션 뭉개짐(고려대 697청크/4섹션). 출처 표기 오류·검색힌트 저하.
- 원인: 추출 마크다운에 본문 헤더 미검출. 재색인 필요(VM). 상세 수치는 쿼리 파이프라인 §5.
우선순위
| Tier | 항목 | 근거 | 대상 |
|---|---|---|---|
| 1 (지금) | 1 메타·본문 융합(카드) | 갭 직접 해결, 저비용·결정적 | CLI+웹 공통 |
| 1 (웹) | 5 SSE 스트리밍 | 웹 체감 지연 | 웹 |
| 2 | 2A 직답 패턴 + 골든셋 보강 + 재평가 / 7 route 관측 | 회귀 방지·측정 | 라우터·관측 |
| 2~3 | B 섹션 태깅 보강 | 인제스트 품질, 재색인 | 인제스트 |
| 3 (v2) | 3 리랭킹/하이브리드 | 6.2 보류와 정합 | v2 |
검증
- 골든셋에 복합 질문(예산+본문필드) 추가 →
run_eval.py전/후 비교, 회귀 0이 채택 조건(6.4 준용).