database.as_retriever 의 결과가 다릅니다.

코드가 똑같은데도 불구하고

database.as_retriever 의 결과값이 다를 수 있을까요?

as_retriever 함수에 최소 k=5을 넣어야 제55조 항목이 검색됩니다.

tax_with_markdown.docx 파일은 제공해주신 파일이고

혹시나 싶어서 pinecone index테이블도 삭제했다가 다시 생성해서 바로 찍은 결과입니다.

아래는 제 코드입니다.

from langchain_community.document_loaders import Docx2txtLoader
from langchain_text_splitters import RecursiveCharacterTextSplitter

text_splitter = RecursiveCharacterTextSplitter(
    chunk_size=1500,  # 각 텍스트 조각의 최대 크기
    chunk_overlap=200, # 텍스트 조각 간의 중복 길이
)

# .docx 파일을 로드하고 텍스트를 분할.
loader = Docx2txtLoader('./tax_with_markdown.docx')
document_list = loader.load_and_split(text_splitter=text_splitter)
document_list[52]
from dotenv import load_dotenv
from langchain_openai import OpenAIEmbeddings
# 환경 변수를 로드합니다.
load_dotenv()

# OpenAI 임베딩 모델을 설정합니다.
embedding = OpenAIEmbeddings(model='text-embedding-3-large')
import os

from pinecone import Pinecone
from langchain_pinecone import PineconeVectorStore

# Pinecone 인덱스 이름을 설정합니다.
index_name = 'tax-markdown-index'
# 환경 변수에서 Pinecone API 키를 가져옴
pinecone_api_key = os.environ.get("PINECONE_API_KEY")
# Pinecone을 초기화
pc = Pinecone(api_key=pinecone_api_key)


# from_documents()`를 사용하여 새 인덱스 생성
database = PineconeVectorStore.from_documents(document_list, embedding, index_name=index_name)
query = '연봉 5천만원인 직장인의 소득세는?'
retriever = database.as_retriever(search_kwargs={'k': 5})
retriever.invoke(query)

쿼리를 날린 결과를 찍어보면

5번째에서 제55조가 나옵니다.

아래는 결과값 일부입니다.

[Document(metadata={'source': './tax_with_markdown.docx'}, page_content='나. 그 밖의 배당소득에 대해서는 100분의 14\n\n3.
 Document(metadata={'source': './tax_with_markdown.docx'}, page_content='차. 외국정부(외국의 지방자치단체와 연방국가인 외국의 지방정부
 Document(metadata={'source': './tax_with_markdown.docx'}, page_content='1. 「공익신탁법」에 따른 공익신탁의 이익\n\n2.
 Document(metadata={'source': './tax_with_markdown.docx'}, page_content='저. 대통령령으로 정하는 복리후생적 성질의 급여\n\n4