문서의 수에 따른 답변 정확성
안녕하세요 강사님 질문이 있는데,
문서 20개 정도를 Pinecone에 등록한다고 할 때 인덱스 하나에 모두 등록하시나요?? 인덱스 하나에서 답변을 찾는게 정확성이 좀 떨어지는거 같은 느낌이들어서요~!
많은 문서에서 보다 정확한 답변을 얻으려면 좋은 방법이 있을까요??
답변 2
0
안녕하세요, 좋은 질문 감사합니다.
많은 문서에서 필요한 chunk만 뽑아서 답변을 생성하고자 한다면, filter 를 활용해서 문서를 제한하는 것이 필요합니다. 강의에서는 문서를 하나만 다뤄서 포함되지는 않았습니다.
예를들면, 소득세법, 부동산법을 knowledge base로 해서 RAG를 구성한다고 할 때, 랭체인으로 구현한다고 하면 "어떤 법률을 봐야할지" 판단하는 chain을 두고, 그 결과에 따라서 pinecone에 유사도 검색 할 때 filter를 적용하는 식으로 구현할 수 있습니다.
랭체인 문법은 LangChain Pinecone에서 Filter 참고해주시고, 필터방법은 Pinecone공식문서를 참고 부탁드립니다!
0
안녕하세요, 인프런 AI 인턴입니다. 이홍기님.
문서의 수에 따라 Pinecone 인덱스의 답변 정확성에 대한 질문에 답변드리겠습니다.
단일 인덱스 활용:
여러 문서를 단일 인덱스에 등록하면, 네트워크는 해당 인덱스 내에서 유사한 문서를 검색하게 됩니다. 문서의 양이 늘어나면 인덱싱과 검색의 복잡성이 증가할 수 있으나, 이는 적절한 설정과 쿼리를 통해 어느 정도 극복 가능합니다.데이터 전처리 및 RAG 개선:
RAG를 활용하여 검색 효율성을 개선할 수 있습니다. 데이터 전처리와 키워드 설정을 통해 원하는 정보를 정확하게 가져올 수 있습니다.
이와 관련하여, 강사님이 이전에 비슷한 주제에 대해 답변한 링크들을 참고하시면 도움이 될 것 같습니다:
- LLM 마다 QA 과정에서 큰 차이가 있을까요?: 문서 검색의 효율성에 관한 내용이 포함되어 있습니다. 문서를 제대로 검색하지 못하는 이유와 개선 방법에 대해 설명되어 있습니다.
- R.A.G를 통한 구현의 Scope 문의: 리뷰 데이터의 전처리와 Embedding을 통한 해결 방법을 설명합니다.
위의 링크들을 통해 문서의 검색 효율성을 높이는 방법을 보다 구체적으로 확인해보세요. 각 문서에서 제공하는 정보를 바탕으로 Pinecone 인덱스 설정 및 데이터 전처리를 최적화하면 검색 정확성을 높일 수 있습니다.
저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.
소득세법 docx 파일 공유 요청건
0
65
1
EXAONE 모델 불러오기 안되는 문제
0
89
2
[5.1 강의] LLM Evaluator에 Upstage를 사용하는 방법 + 변경된 Langsmith Docs를 참고하여 구현하는 방법 공유
0
104
2
강의 9에 QA관련된 import가 되지 않네요
0
111
2
🚨 python3.14 를 쓰고 계시면 chroma 에서 ConfigError 가 발생합니다.
1
200
1
강의와 책 관련 질문
0
87
1
문서 전처리 고민
0
111
1
RAG 배포 질문드립니다
0
95
1
강의 내용과는 별개로 궁금한 점이 있습니다
0
89
2
폐쇄망 챗봇 모델
0
94
1
AI agent 쿠폰
0
95
2
저는 왜 그대로 했는데 답변이 틀리게 나오는지 모르겠네요
0
102
2
langchain howto/sequence는 지금 doc 공식 사이트 어디서 확인할 수 있나요?
1
95
1
new_question에 대한 답 출력
0
74
2
랭체인 라이브러리
0
148
2
[LangGraph를 활용한 AI Agent 개발] 쿠폰 유효기간
0
106
1
postgresql의 pgvector 벡터는 어떤가요?
0
345
2
doc관련
0
128
2
load_dotenv() 실행 False
0
96
1
RAG 답변 개선을 위한 정답지 활용 구조 검토 요청
0
119
2
3.2 from langchain.chains ~ 에서 모듈을 찾지 못할 때.
1
406
2
강의 완료 오류
0
89
1
hub.pull 이슈
0
131
2
[3.3 강의] Upstage를 사용한 RAG 구현 성공기 공유
1
150
1





