쿼리 파이프라인 개선안

쿼리 파이프라인 개선 기회. 계기: “차세대 포털·학사 정보시스템 사업의 총 예산액과 무상유지보수기간” 질문이 retrieval로 가는데, 예산(CSV 필드)이 본문 청크에 없으면 누락될 수 있는 갭 발견. 개념 배경은 쿼리 파이프라인. 제약: 신규 모델 금지(gpt-5-mini/nano만), 팀 키 $20, NDA.

개선 기회

1. 메타·본문 융합 (retrieval에 CSV 메타 카드 주입) — ★ 최우선

  • 문제: direct_meta(CSV)와 retrieval(본문 청크)이 상호배타. 복합 질문(CSV 필드 예산 + 본문 필드 유지보수기간)은 retrieval로 가지만 format_context가 CSV 메타를 안 넣어 예산 누락 가능.
  • 해결: retrieval 경로에서 hit에 이미 딸려온 metadata(금액·마감일·기관)를 카드 블록으로 컨텍스트 상단에 렌더. meta.json 재로드 불필요.
  • 비용/리스크: 낮음(재색인 0, ~5줄 토큰, 결정적).
  • 고칠 곳: src/query/retrieve.pyformat_context 1곳(+ core.py retrieval 분기 연결).

2. 라우터 직답 패턴 취약성

  • DIRECT_PATTERNS가 손관리 문자열(“예산은”은 되고 “예산액과”는 안 됨). 6.4에서 이미 4건 패치.
  • 옵션 A(권장): 트리거 확장 + 골든셋에 복합·변형 표현 추가해 회귀 방지.

3. 검색 품질 (단일 벡터·top-k 고정·리랭킹 없음) — v2

  • cross-encoder 리랭커 또는 top-k 확대 후 MMR. BM25 하이브리드(Plans 6.2)는 v2 보류.

5. 스트리밍 부재 (웹 UX) — ★ 최우선(웹)

  • POST /ask 동기식 → Phase 8.6 채팅 체감 지연. SSE /ask/stream, citations는 종료 이벤트.

7. 온라인 route 지표 관측

  • route 분포·0청크율·평균 distance를 LangSmith 안전메타(이미 화이트리스트)로 집계. 저비용.

별도 발견 — 섹션 태깅 품질 (트랙 B)

  • 99문서 중 7개가 헤더 검출 실패로 섹션 뭉개짐(고려대 697청크/4섹션). 출처 표기 오류·검색힌트 저하.
  • 원인: 추출 마크다운에 본문 헤더 미검출. 재색인 필요(VM). 상세 수치는 쿼리 파이프라인 §5.

우선순위

Tier항목근거대상
1 (지금)1 메타·본문 융합(카드)갭 직접 해결, 저비용·결정적CLI+웹 공통
1 (웹)5 SSE 스트리밍웹 체감 지연
22A 직답 패턴 + 골든셋 보강 + 재평가 / 7 route 관측회귀 방지·측정라우터·관측
2~3B 섹션 태깅 보강인제스트 품질, 재색인인제스트
3 (v2)3 리랭킹/하이브리드6.2 보류와 정합v2

검증

  • 골든셋에 복합 질문(예산+본문필드) 추가 → run_eval.py 전/후 비교, 회귀 0이 채택 조건(6.4 준용).

관련