KDI — 2026-08-03
✅ 한 것 (Done)
최근까지 끝낸 작업. 결과물(노트·커밋·파일) 링크가 있으면 같이.
- 어제 Template 질의를 이용하여 LoRA 학습을 빨리 끝내려다가 과적합을 야기하였습니다.
🔄 하고 있는 것 (Doing)
지금 붙잡고 있는 작업과 현재 상태 한 줄.
- 하드 네거티브 마이닝 방법으로 E5-small 모델로 유사도 검색을 사용하여 정답과 유사한 오답을 인식할 수 있게 학습시킨다. → 기존의 E5-small 모델보다 성능지표가 떨어졌다.
- 클로드 LLM에게 물어봐서 현직에서 일반적으로 사용하는 LoRA 튜닝 기법을 알려달라고 했다. GPL 방식을 사용하여 정답/오답 이진 결과를 사용하는 것보다 Cross-Encoder 모델을 사용하여 답변 청크가 정답과 얼마나 가까운지를 나타내는 척도(50%, 70%)로 학습을 진행하는 것을 추천받았다. 이것을 사용하였더니 기존의 E5-small 모델보다 더 나은 성능지표를 도출하였다. (33% 상승됨, 정답률 80%, e5는 60%) GPL 방식에 LLM에서 도출한 어려운 질의와 쉬운 Template 질의의 비율을 달리해가며 성능지표를 탐색중이다.
📋 해야 할 것 (To-Do)
다음에 할 일, 급한 순서대로.
- 시간이 별로 없으므로 오늘로 안되면 포기할 것.
- GPL 방법와 Template:LLm 질의 비율을 달리해가며 탐색하면서 가장 나은 성능지표를 가진 모델을 선택
- [ ]
📍 어디까지 왔나 (진행 상황)
맡은 작업 기준으로 지금 위치. 퍼센트나 단계(설계/구현/검증)로.
| 작업 | 진행률 | 비고 |
|---|---|---|
| GPL과 Template LLM 질의의 비율을 달리해가며 테스트 | %70 | 학습하는데 시간이 오래 걸려서 힘들다 |
🧱 막힌 것 / 메모 (선택)
블로커, 기다리는 것, 나중에 볼 링크 등.
- 시간이 별로 없는데 다른 사전학습 모델들도 테스트해봐야 LoRA 튜닝한 모델이 얼마나 좋은지 알 수 있을 것 같다.