3.5 Retrieval 효율 개선을 위한 데이터 전처리 - 동일한 결과가 안나옴

안녕하세요, 강의 수강 중 아무리 실행해도 결과가 영상과 동일하게 나오지 않아서 질문드립니다.

실습에 사용중인 tax.docx 파일에서 제55조의 그림으로 되어 있는 테이블을 마크다운으로 변환한 tax_with_markdown.docx로 실습 진행하고 있습니다 .

강의에서 올려주신 마크다운 변환된 파일과 코드로 실행했는데, retriever.invoke(query) 결과에서 제55조가 나오지 않아서 result 값이 제대로 나오지 않습니다. 파인콘 인덱스를 삭제하고 새로 만들어도 결과는 동일하게 나옵니다. 원인이 무엇인지 알 수 있을까요?

from langchain_community.document_loaders import Docx2txtLoader
from langchain_text_splitters import RecursiveCharacterTextSplitter

text_splitter = RecursiveCharacterTextSplitter(
    chunk_size = 1500,   # 문서를 쪼갤 때, 하나의 chunk가 가질 수 있는 토큰 수
    chunk_overlap = 200  # 문서를 쪼갤 떄, 중복을 허용하는 토큰 수
)

loader = Docx2txtLoader("tax_with_markdown.docx")

document_list = loader.load_and_split(text_splitter=text_splitter)

document_list[52]  # 마크다운 부분 잘 나오는 거 확인

from dotenv import load_dotenv
from langchain_openai import OpenAIEmbeddings

load_dotenv()  # API Key 필요 (환경 변수)
embedding = OpenAIEmbeddings(model='text-embedding-3-large') 

import os
import time
from pinecone import Pinecone
from langchain_pinecone import PineconeVectorStore

index_name = 'tax-index-markdown'

pinecone_api_key = os.environ.get("PINECONE_API_KEY")

pc = Pinecone(api_key=pinecone_api_key)
database = PineconeVectorStore.from_documents(document_list, index_name=index_name, embedding=embedding)

query = '연봉 5천만원인 직장인의 소득세는 얼마인가요?'

from langchain_openai import ChatOpenAI

llm = ChatOpenAI(model='gpt-4o')

from langchain import hub

prompt = hub.pull("rlm/rag-prompt")

from langchain.chains import RetrievalQA

retriever = database.as_retriever()
qa_chain = RetrievalQA.from_chain_type(
    llm,
    retriever = retriever,
    chain_type_kwargs = {"prompt":prompt}
)  # llm 모델과 벡터데이터베이스와 프롬프트 템플릿 준다.

retriever.invoke(query)

retriever = database.as_retriever( search_kwargs={"k": 3})