인프런 커뮤니티 질문&답변

안녕하세요, 개인 프로젝트로 rag 기반 챗봇을 구현하고 있습니다. ollama, gemma3:1b를 사용중입니다. txt 파일을 어느정도 전처리를 하고 임베딩을 시키려고 하는데 전처리 중 고민이 있습니다.

구조가 잡혀있는 txt 파일인데, 문서 구조는 대략 아래와 같은 형태입니다.

1.2 화면 설명
1.2.1 개요
- 이 화면은 사용자가 업무를 처리하기 위한 화면입니다.

1.2.2 화면 위치
상단 메뉴 > 업무 관리 > 처리 화면

1.2.3 처리 절차
1) 항목 선택
2) 저장 버튼 클릭

현재 고민되는 부분은 다음과 같습니다.

1. 이런 번호 기반 구조를 그대로 유지한 채로 chunking 하는 것이 좋은지,
   아니면 번호는 제거하고 의미 단위로만 분할하는 것이 나은지

2. -, •, 숫자 목록 같은 불릿/목록 기호를 임베딩 전에 제거하거나 정규화하는 게 좋은지

3. “개요 / 처리 절차 / 화면 위치” 같은 섹션 제목을 chunk 본문에 포함시키는 것이 검색 품질에 도움이 되는지

   
   
   감사합니다.