인프런 커뮤니티 질문&답변
작성한 질문수
RAG 답변 개선을 위한 정답지 활용 구조 검토 요청
작성
·
14
·
수정됨
0
강사님 안녕하세요! 지난번 알려주신 구글 시트 로그 적재 팁 덕분에 챗봇 로그가 잘 쌓이고 있습니다. 감사합니다.
이렇게 수집된 [피드백 데이터]*를 활용해 챗봇 성능을 높이려 하는데, 아래 방식으로 구현해도 괜찮을지 의견 여쭙니다! (*데이터 내용: 사용자질문/챗봇답변/평가(좋아요, 싫어요)/답변개선방향)
[현재 고민] 피드백 받은 답변개선방향(ex. 챗봇 답변이 ~~식으로 되어야 합니다)을 실시간 프롬프트에 반영하자니 케이스도 많고, 답변 속도도 저하될 것 같아서, 아예 [피드백 데이터]에서 답변을 잘하지 못한 질문에 대한 [정답 답변]을 만들어서 우선 검색하는 방식을 고려 중입니다.
[고려 중인 로직]
QA데이터셋(정답지): 사용자 질문과
정답 답변(담당팀 검수 답변)간 유사도 비교분기 처리(Threshold):
유사도 0.9 이상: QA 데이터의 답변을 즉시 반환 (LLM 생성 X)
유사도 0.9 미만: 기존 RAG 프로세스 (문서 검색 -> LLM 답변 생성)
[문의 사항]
방법론 검증: 위와 같이 임계값(Threshold 0.9)을 임의로 정하고 정답지 검색을 앞단에 배치하는 방식이 실무적으로 괜찮은 접근일까요?
대안 문의: 일반적으로 현업에서 피드백(Human Feedback) 데이터를 RAG에 반영하여 정확도를 높일 때 사용하는 더 나은 방법이 있을까요?
바쁘시겠지만 짧게라도 조언 주시면 큰 도움이 될 것 같습니다! 참고로 저는 비개발자입니다!
답변 2
0
안녕하세요! 결론부터 말씀 드리자면 정말 좋은 접근 방법입니다.
임베딩 모델을 활용해서 사용자의 질문과 QA데이터셋을 비교해서 답변을 리턴하면, 정확도도 확실히 올라가고(당연한 이야기겠지만) LLM 호출이 사라지니 비용과 시간 측면에서도 확실히 유리합니다. 제가 에이전트 유즈케이스 강의에서 FAQ를 따로 활용하시라고 말씀 드리는 이유가 정확하게 말씀하신 방향과 일치합니다. 저는 업무에서 꼭 정확하게 답변해야하는 질문은 프롬프트에 직접 넣는 식으로도 진행했던 적이 있습니다.
하지만 피드백이 많아지게 되면 QA 데이터 셋을 생성하는 것 자체에 어려움이 있을테니. 아무래도 데이터 검색 효율을 늘리는 방향을 고민해보셔야 할 것 같습니다. 문서 검색을 할 때 사용자의 의도에 맞는 문서를 필터링 하는 로직을 추가 하신다거나, 답변 생성 후 답변을 검증한 후에, 만약 사용자의 의도와 맞지 않는다면 문서를 추가 검색하는 방식도 고민해보실 수 있습니다. 예를 들면 유사도가 가장 높은 1-3위 문서로 답변을 생성했을 때 정확하지 않다면, 4-6위 문서를 활용해서도 답변을 생성해보는 방식으로요.
좋은 방향으로 잘 고민하고 계신 것 같습니다! 또 궁금하신 부분이 있으시면 질문으로 올려주세요~
0
안녕하세요, 인프런 AI 인턴입니다. rarexband님.
질문 주셔서 감사합니다. 챗봇의 성능 개선을 위해 피드백 데이터를 활용하시려는 의도는 매우 이해가 가며, 다음과 같은 조언을 드릴 수 있습니다.
1. 방법론 검증
현재 고려하시고 있는 로직은 매우 합리적입니다. 전개하신대로, 다음과 같은 방식은 실무에서 활용 가능한 효과적인 전략입니다:
정답지 우선 검색: 사용자 질문에 대응할 수 있는 정답 답변이 충분히 축적되어 있다면, 임계값을 설정해 높은 유사도일 경우 이를 우선 반환하는 접근은 챗봇의 응답 정확도를 크게 개선할 수 있습니다.
임계값 설정: 임계값을 설정하는 것 자체는 실험적으로 조정해야 할 수 있습니다. 시작점으로서 0.9를 설정하고 결과를 모니터링하며 적절히 조절하는 과정을 추천드립니다.
2. 대안 및 추가 고려 사항
피드백 반영: 챗봇의 답변 개선을 위해 수집된 피드백 데이터를 주기적으로 검토하고 모델 학습 데이터를 업데이트하여 재학습을 진행하는 것도 고려해볼 수 있습니다. 이를 통해 모델이 사용자 피드백을 내부적으로 결과에 반영할 수 있습니다.
실험과 모니터링: 위의 로직을 실제로 적용하기 전에 샘플 데이터를 통해 실험을 진행하고, 결과를 모니터링하는 시스템을 구축하는 것을 추천드립니다. 이를 통해 귀사의 챗봇이 어떤 시나리오에서 가장 잘 작동하는지 파악할 수 있습니다.
하이브리드 모델 사용: 경우에 따라 단순히 정답지를 기반으로 하거나 RAG로 처리하는 두 가지 방식을 혼합하는 것도 좋은 방법이 될 수 있습니다. 여러 접근을 혼합하여 사용하는 것이 현업에 적합한 방식일 수 있습니다.
관련 질문으로는 다음을 참고할 수 있습니다:
- RAG의 전체 문서 이해와 처리: 다른 사용자의 전체 문서 이해 및 검색 처리 관련 질문과 답변을 참고하실 수 있습니다.
- 챗봇의 일관성 유지 및 검색 우선순위: 답변의 일관성을 유지하는 방법에 대한 질문과 답변도 도움이 될 것입니다.
저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.