Rag 사용시 전혀 관계없는 데이터를 가져오는 이슈

안녕하세요 rag를 공부하고 실제로 테스트를 하기위해서
open ai를 사용하여 서비스 이름과 서비스 담당자 관련한 정보가 존재하는 csv 데이터를 아래처럼 임베딩 한 뒤

index_name = "manager"

 # CSV 파일 로딩 

loader = CSVLoader(file_path="manager.csv", encoding="utf-8") 

docs = loader.load() 

# text_splitter = RecursiveCharacterTextSplitter(chunk_size=100, chunk_overlap=0)

 # docs = text_splitter.split_documents(documents) 

embedding_model= OpenAIEmbeddings(openai_api_key=OPENAI_KEY) 

vectorstore = ElasticsearchStore( embedding=embedding_model, index_name=index_name, es_url=es_url ) 

vectorstore.add_documents(docs)

 데이터는 아래 형태로 embedding 하여 text에 들어가 있습니다.

이름: (서비스 이름)

메인 담당자:

개발 담당자: 정(XXX) 부(XXX, XXX, XXX, XXX)

SE 담당자: 정(YYY3) 부(ZZZ)

DBA 담당자:

아래처럼 프롬프트를 작성하고 rag를 사용하여 relevant_document를 통하여 확인하면,

실제로 text에 들어가있는 데이터를 안가져오고 엉뚱한 데이터를 가져오거나

실제로 관련 담당자가 text에 포함되는 데이터가 여러개가 실제로 존재하더라도 한 개만 가져오고 나머지는 엉뚱한 document만 가져오는 경우가 많은 것 같습니다.

rag_prompt = """
You are an expert AI on a question and answer task. 

Use the "Following Context" when answering the question. If you don't know the answer, reply to the "Following Text" in the header and answer to the best of your knowledge, or if you do know the answer, answer without the "Following Text". If a question is asked in Korean, translate it to English and always answer in Korean.

Following Text: "주어진 정보에서 답변을 찾지는 못했지만, 제가 아는 선에서 답을 말씀드려볼게요! **틀릴 수도 있으니 교차검증은 필수입니다!**"

Following Context: {context}

Question: {question}

Helpful Answer:"""


prompt = ChatPromptTemplate(input_variables=['context', 'question'], 
messages=[HumanMessagePromptTemplate(prompt=PromptTemplate(
   input_variables=['context', 'question'], 
   template= rag_prompt))
])

# LLM
from langchain.chains import RetrievalQA
from langchain.chat_models import ChatOpenAI
llm = ChatOpenAI(model_name="gpt-3.5-turbo-0125", temperature=0, openai_api_key=OPENAI_KEY)
retriever = vectorstore.as_retriever(
        search_type="similarity",
        return_source_documents=True
    )

resp = retriever.get_relevant_documents("XXX가 담당하는 서비스 알려줘")
print(resp)

혹시나 엉뚱한 document를 안가져오고 해당되는 값이 포함되는 document만 가지고 올 수 있도록 할 수 있는지 여쭤봅니다!

정리하자면 1:n으로 연관되어있는 내용에서 1에 대한 정보를 물어보면 내용을 잘가져오는 것 같은데 n에 대한 질문을 하면 정보를 전혀 못가져 오는 것 같은데 이를 해결하는 방법론이 있을지 여쭤봅니다!