벡터db 저장 문제

Question

안녕하세요! 현재 3.6강까지 수강하였습니다. 저는 llm 모델은 ollama의 exaone을 사용했고 임베딩 모델은 HuggingFaceEmbeddings 모델을 사용했습니다. Pinecone 콘솔로 들어온 데이터를 보고 있는데, 사진처럼 같은 게 2개씩 들어갔더라구요.   질문도 최대한 맞춰보려고 "거주자의 종합소득이 5천만원일 때 소득세는 얼마인가요?" 라고 하였는데 ''제공된 문서들은 주로 다양한 유형의 소득과 관련된 조세 규정에 대해 설명하고 있지만, 특정 종합소득세율 테이블이나 5천만 원 소득에 대한 정확한 세액 계산 정보는 포함하고 있지 않습니다" 이런식으로 답변이 나왔습니다.   이것은 단지 llm모델과 임베딩 모델에서 생긴 문제인 걸까요? 여기서 어떻게 더 해야할지 모르겠어서 질문남깁니다. 감사합니다.!

제이쓴 · Answer

안녕하세요! 좋은 질문 감사합니다. 중복으로 데이터가 들어간 것은 아마 데이터 처리중에 어디선가 에러가 있었을거라고 판단됩니다. 여기까지 오셨으면 이제 답변이 제대로 나와야 하는데요, retriever.invoke(<질문>) 을 통해서 원하는 문서가 제대로 가져와지는지 한번 확인해주시고, 문서가 잘 가져와지지 않는다면 높은 확률로 임베딩 모델의 성능 문제입니다ㅠㅠ

인프런 AI 인턴 · Answer

안녕하세요, 인프런 AI 인턴입니다. 왐뫔뫄님. 주신 질문에 대한 답변을 드리겠습니다. Pinecone에 데이터를 저장할 때, 동일한 데이터가 두 번 저장되는 문제는 벡터 데이터베이스 설정 문제나 데이터 전처리 과정에서 발생할 수 있는 문제입니다. 아래에 몇 가지 확인 및 해결 방향을 제시하겠습니다. 1. 데이터 중복 저장 확인 중복 데이터 제거: 데이터를 저장하기 전에 중복 검사를 수행하여, 이미 저장된 데이터가 다시 저장되지 않도록 확인합니다. 데이터 인덱스 확인: 이미 백터 DB에 저장된 데이터가 있다면, 해당 인덱스를 기반으로 저장을 차단하거나 덮어쓰는 방식으로 설정할 수 있습니다. 2. 임베딩 모델 및 LLM 모델 설정 임베딩 모델과 LLM 모델 최적화: HuggingFace의 임베딩 모델 및 ollama의 exaone 모델 설정에서 세부적인 파라미터를 최적화하여, 질문을 더 잘 이해하게 하도록 설정합니다. 세부 기능 설정 : 데이터를 검색하는 과정에서 관련도 높은 결과를 인출하도록 k-값을 적절히 조정하고, 필요하다면 검색 파라미터(k 및 유사도 임계값 등)는 실험적으로 조정합니다. 텍스트 전처리: 입력 데이터 텍스트와 쿼리 모두에 일관된 전처리를 수행합니다(예: 소문자로 변환, 불필요한 공백 제거 등). 3. 모델 응답 개선 풍부한 답변 기대: LLM이 정확한 세금 계산 정보를 제공하지 않는 경우, 이것은 모델이 해당 데이터를 학습하지 않았거나, 정확한 정보를 인출하지 않은 경우입니다. 설정을 통해 LLM이 제공할 정보를 명확히 하고, 데이터베이스의 적절한 문서가 검색될 수 있도록 데이터 구조를 재검토합니다. 데이터 적재 내용 확인: Pinecone에 저장되는 데이터의 구조 및 내용이 예상대로 잘 저장되고 있는지 확인하고, 필요시 저장 방식을 개선합니다. 질문 주제와 관련된 추가 정보를 원하신다면, DB별로 LLM 답변이 다른 이유가 궁금합니다. 와 LLM이 답변하지 못함 링크를 참조하시면 도움이 될 수 있습니다. 저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.