인프런 커뮤니티 질문&답변

prompt에 요약을 하지말라고도 해보고 여러가지 시도를 해봤었는데 리트리버의 문서 길이가 길어지면 결국요약을 하는 일이 발생하더라고요. 계속 찾아보고 있는데 리트리버의 chunk size가 너무커서 Context Overflow가 발생하면 reactAgent에서 동문서답이나 요약을 해버린다는 글을 봤었는데 이게 진짜인지 잘 모르겠어서요.. 모델은 llama3.18b와 qwen3 8b,14b 모두 같은 증상이 있었습니다. 문서가 짧으면 정상적으로 대답하는데 이게 creat_react_agent의 특성인지 아니면 문제점인지 잘모르겠습니다.

프롬프트는 이런식으로 작성했습니다

"너는 주어진 질문에 정확하게 답하는 전문가야.

retriever tool을 사용할 수 있으며, 반환된 문서의 내용을 요약하지 말고 질문에 직접 답변하도록 해.

문서가 충분하지 않으면 '정보 부족'이라고 답하고, 확신 없는 내용을 만들어내지 마."

Context Overflow가 발생하면 reactAgent에서 동문서답이나 요약을 해버린다는 글 은 거짓정보입니다. context overflow가 발생하면 해당요청을 처리하지 못하고 에러가 나야해요.

저도 처음보는 에러라 감이 잘 안오는데, create_react_agent에 prompt를 주입하고 invoke나 stream으로 실행하시는건가요? 작성하신 코드를 올려주시면 ollama활용해서 llama3.1로 저도 한번 시도해보겠습니다.

선생님 늦은 시간까지 노고에 감사드립니다.

소스코드를 모두 올리기에는 무리가 있어 예시를 만들어 봤습니다. 큰 틀은 모두 동일 합니다.

invoker, stream 둘 다 동일하게 증상이 나왔었습니다. 가속기로 ChatOllama를 사용했습니다.

문서를 제공해드리고 싶은데 제공 못 드리는 점 죄송합니다.

from langchain_core.tools import tool
from langgraph.prebuilt import create_react_agent
from langchain_ollama import ChatOllama
from langchain_huggingface import HuggingFaceEmbeddings
from langchain_community.vectorstores import FAISS
from langchain_core.messages import HumanMessage, AIMessage

llm = ChatOllama(
            model="llama3.1:latest",
            temperature=0,
            # extract_reasoning = True
        )  

embedding =HuggingFaceEmbeddings(model_name='bespin-global-klue-sroberta-base-continue-learning-by-mnr')
vector_db = FAISS.load_local(
            folder_path="",
            embeddings=embedding,
            allow_dangerous_deserialization=True
        )
retriever = vector_db.as_retriever(search_kwargs={'k': 5})

def retriever_tool_wrapping():
    @tool
    def retriever_tool(query: str)->str:
        """
           이 도구는 암호화된 데이터베이스에서 문서에 대한 정보를 안전하게 조회하는 데 사용됩니다.  
        Args:
            query (str): 사용자의 질문(미리 정의된 질문이 사용됨)
        
        Returns:
            str: 문서 내용
        """        
        return retriever.invoke(query)
    return retriever_tool

tools = [retriever_tool_wrapping()]

graph = create_react_agent(
            model = llm,
            tools = tools,
            prompt=("""당신은 문서 담당자자 입니다. 주어진 질문에 답변하세요. 의견이 아닌 사실만 제공하세요
                    문서 관련련 질문은 retriever_tool 도구를 사용하세요.
                    반환된 문서의 내용을 요약하지 말고 질문에 직접 답변하세요.
                    문서의 내용이 충분하지 않으면 '정보 부족'이라고 답하고, 확신 없는 내용을 만들어내지 마세요."""),
             )

inputs = {'messages': [HumanMessage("")]}
graph.invoke(inputs)

음 추측하기로는 retriever_tool_wrapping 이라는 wrapper가 필요 없는 작업을 하는 것 같은 느낌이긴한데 요거는 시도해보고 결과를 다시 올려드릴게요!

실제 코드 실행 시에는 inputs = {'messages': [HumanMessage("")]} 에 필요한 질문을 입력하신거죠?

테스트 해봤는데 프롬프트를 다시한번 확인해보시면 좋을 것 같습니다.

답변이 정확하진 않지만(이런 이유로 강의에서는 task를 작은 단위로 나눠서 진행한다고 보시면 됩니다) 요약을 해서 답변을 주지는 않네요. 깃헙 소스코드에 업로드 해두었습니다!

선생님 답변이 늦었습니다. 많은 도움이 되었습니다. 감사합니다.

아직 근본적인 retreiver의 문서길이가 길어질 경우 react agent에서 문서를 요약하는 부분은 해결하지 못 하였습니다.

하지만 문제를 우회하는 방식으로 문제를 해결하려고 하고 있고 공유 드리려고 합니다.

제가 테스트했던 retreiver의 문서5개(as_retriever(search_kwargs={'k': 5}))의 총 length는 13280입니다. ( 대략 글자 수가 10000개의 이상 되면 문제가 생기는 것 같습니다.)

현재 4가지의 해결 방법을 생각하여 진행하고 있습니다.

1. 문서의 search_kwargs를 줄이기

2. rerank 방식을 사용하기

3. document의 metadata는 사용하지 않고 page_content만 따로 파싱해서 llm에게 넘겨주기

4. 총 document의 length가 일정 범위를 넘으면 자르거나 요약해서 넘겨주기

감사합니다.

오늘도 좋은 하루 보내세요!