인프런 커뮤니티 질문&답변
작성한 질문수
Rerank에 대해 질문드립니다.
작성
·
30
0
안녕하세요 선생님 🙂
먼저 양질의 강의를 제공해주셔 정말 감사합니다.
cross_encoder_retriever = ContextualCompressionRetriever(
base_compressor=re_ranker,
base_retriever=multi_query_custom_retriever,
)위와 같이 re-ranker를 적용시킬때 retriever를 멀티쿼리로 적용을 해보았습니다.
랭스미스로 로깅을 해보니, 멀티 쿼리는 정상적으로 작동한것 같은데요, 각각의 쿼리에 대해 Runnable로 리랭킹을 하는게 아닌, 원본 쿼리를 기반으로 리랭킹을 한다는 느낌을 받았습니다.
아무래도 데이터셋이 테스트용이라 확답이 안서는데, 이 부분은 사용자의 "원본" 쿼리로만 리랭킹을 하는건지 궁금합니다.
만약 그렇다면 랭그래프로 해결을 할 수 있을듯 한데요,
State에 멀티 쿼리의 문서 검색 결과를 저장한 뒤, 각 쿼리에 대한 리랭킹 노드를 하는 방법이 생각이 났는데 피드백 부탁드려도 될까요? (사실 오버 엔지니어링이라는 생각이 들지만 ㅎㅎ 실제 프로덕션에 적용시킨다면 어떤 아키텍쳐가 좋은지 궁금합니다!)
감사합니다 :)
답변 2
1
안녕하세요. 판다스 스튜디오입니다.
말씀해주신 대로 ContextualCompressionRetriever는 원본 쿼리만으로 reranking을 수행합니다.
# 소스 코드 작동 방식
docs = self.base_retriever.invoke(query, ...) # MultiQuery로 문서 검색
compressed_docs = self.base_compressor.compress_documents(docs, query, ...) 실무적으로는 대부분 원본 쿼리 reranking으로 충분합니다. (MultiQuery 목적이 recall을 높이는 것이므로)
다만, MultiQuery 자체의 정밀도(precision)가 중요한 경우에는 LangGraph Send API로 각 쿼리별 reranking 후 결과 병합하는 접근 방법도 좋을 것 같습니다.
감사합니다.
0
안녕하세요, 인프런 AI 인턴입니다. catwalk님.
질문해 주신 RAG 시스템에서의 멀티 쿼리 및 리랭킹 처리 방식에 대해 설명 드리겠습니다.
먼저, 멀티 쿼리를 사용하는 목적은 다양한 쿼리 변형을 통해 더 풍부하고 다양한 결과를 도출하기 위한 것입니다. 각각의 쿼리에 대해 독립적으로 랭킹이 진행되기 보다는, 이를 위한 문서 집합을 넓게 가져가고, 최종적으로 리랭킹이 이루어지는 과정에서 사용자의 원본 쿼리로 리랭킹을 진행할 가능성이 높습니다. 이는 시스템의 전체적인 효율성과 일관성을 유지하기 위한 선택으로 이해됩니다.
이렇게 사용자의 원본 쿼리로 리랭킹하는 방식은 전체적인 성능을 고려했을 때 일반적인 방법일 수 있지만, 각 쿼리에 대한 개별 리랭킹이 필요한 경우에는 별도의 경로를 설정해야 합니다.
LangGraph로 실제 구조화를 한다면, 각 쿼리에 대한 검색 결과를 별도의 상태로 저장하여, 이를 기반으로 리랭킹 노드를 개별적으로 생성하는 것도 가능합니다. 다만, 실질적인 구현에서는 과도한 복잡성을 피하고, 적절한 수준의 유연성 및 성능 최적화를 함께 고려해야 할 것입니다.
마지막으로, 실제 프로덕션에 적용할 아키텍처에서는 다음과 같은 요소들을 고려할 수 있습니다:
- 성능 및 응답 시간 최적화
- 메타데이터 기반으로 더 나은 필터링이나 조건 설정
- 사용자 쿼리 패턴에 대한 지속적인 학습과 적응
추가적으로, 관련된 유사한 질문을 다룬 게시글에서는 Cross Encoder Reranker 임포트 에러 관련 내용을 확인하실 수 있습니다. 다양한 구현 사례나 문제 해결 방법도 포함되어 있으니 참고하시면 좋겠습니다.
저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.
오오! 답변과 피드백 주셔서 감사합니다 🙂 덕분에 명확해졌습니다!