KDI — 2026-07-27
✅ 한 것 (Done)
최근까지 끝낸 작업. 결과물(노트·커밋·파일) 링크가 있으면 같이.
- E5-small 모델을 LoRA로 튜닝하고 프로젝트를 구동하여 웹 화면으로 Q&A를 수행할 때는 QLoRA로 Retrieval을 수행하게끔 만드는 중입니다. QLoRA는 따로 학습이 필요하기 때문에 학습은 기존의 100개 문서들로 학습하기로 하였고 기존의 100개 문서에 대해 retrieval 테스트를 진행하면 당연히 잘 나올 것이므로 새로운 문서10개를 나라장터에서 구하여 테스트를 진행하려고 합니다.
🔄 하고 있는 것 (Doing)
지금 붙잡고 있는 작업과 현재 상태 한 줄.
- 프로젝트의 코드는 기존의 문서를 청킹하여 백터 db에 임베딩하는 과정이 있습니다. 이 과정의 코드를 재사용하여 로드하는 문서를 임의로 추가하면 data_list2.csv의 내용을 참조하여 추가적으로 벡터 db에 반영되는 로직을 구성하고 있습니다.
📋 해야 할 것 (To-Do)
다음에 할 일, 급한 순서대로.
- 프로젝트에 있는 코드를 재사용하여 벡터 db에 문서가 추가되거나 변경되면 바로 적용할 수 있는 로직을 구성하려고 하였지만, 코드가 data_list.csv의 내용에 종속되어 있는 것을 확인하였고, data_list.csv의 내용에 존재하지 않는 문서는 인덱싱되지 않는 오류가 있는 것을 확인하였습니다. 이에 따라 data_list2.csv를 임베딩하는 추가로직을 구현할 것이 아니라 data_list2.csv의 내용을 기존의 data_list.csv에 추가하여 추가된 문서들과 함께 인덱싱되고 임베딩되는 로직으로 바꿔서 모델 테스트 환경을 구성하는 중입니다.
- [ ]
- [ ]
📍 어디까지 왔나 (진행 상황)
맡은 작업 기준으로 지금 위치. 퍼센트나 단계(설계/구현/검증)로.
| 작업 | 진행률 | 비고 |
|---|---|---|
| 문서 추가시 벡터 db에 반영 | %50 | 로직이 csv내용에 종속되어 data_list.csv의 내용이 변경되어야 하는 것이 확인됨 |
🧱 막힌 것 / 메모 (선택)
블로커, 기다리는 것, 나중에 볼 링크 등.
- 열심히 벡터 db에 문서가 바뀔 경우 반영되기 쉽게 코드를 구성해봤는데 실패하였습니다. 프로젝트 로직이 바뀌는 것보다 프로젝트에 필요한 데이터가 수정되는 것이 쉬울 것입니다.