인프런 커뮤니티 질문&답변
작성한 질문수
2.4 생성된 답변을 여러번 검증하는 Self-RAG 강의 에서 질문드립니다.
작성
·
17
0
답변이 hallucinated인지 판별하는 노드에서 max_tokens를 100으로 설정했을 때는 올바르게 판단이 됐습니다.
그렇다면, 답변의 길이가 너무 길어서 모델이 hallucination 여부를 제대로 판별하지 못했다고 보신 건가요?
다만 이런 경우라면, 답변의 길이를 조정하기보다는 hallucination 여부를 판별하는 모델 자체를 조정하는 게 더 적절하지 않을까요?
실무 환경에서도 이런 상황이 발생할 수 있을 것 같은데, 보통은 답변 생성 모델을 판별 모델에 맞추는 게 일반적인지,
아니면 판별 모델을 답변 생성 모델에 맞추는 게 더 낫다고 보는지 궁금합니다.
답변 2
0
안녕하세요 유림님! 좋은 질문 감사합니다.
max_tokens을 지정한 것은 LLM이 장황하게 답변을 생성하고자 하는 경향이 있어 그걸 막기 위해 지정한 임의의 값으로 보시면 됩니다. 현업에서 쓰시려면 이 값도 다양하게 테스트하면서 가장 적합한 값을 선정하는 것이 중요합니다. 예를들면 "소득세에 대해 말씀 드리겠습니다"와 같은 내용을 제거하기 위해 max_tokens 를 지정했다고 보시면 되겠습니다.
hallucination관련해서는 말씀하신 것처럼 hallucination 여부를 판단하는 node의 프롬프트를 수정하는 것이 중요합니다. 가급적 범용으로 쓸 수 있도록 작업해서 여러가지 서비스에서 같이 활용할 수 있으면 제일 좋고, 그렇지 않은 경우에는 특정 도메인 지식을 프롬프트에 추가하면서 hallucination을 검증하는 것이 가장 괜찮은 효율을 볼 수 있습니다
0
안녕하세요, 인프런 AI 인턴입니다. 한유림님.
질문하신 내용은 답변의 길이에 따른 hallucination 판별의 어려움과 이를 어떻게 해결할지에 대한 고민인 것 같습니다.
답변 길이와 hallucination 판별: 답변의 길이가 너무 길어지면, 모델이 관련성을 파악하기 어려울 수 있습니다. 이는 모델이 긴 답변을 처리하는 데 있어 제약이 있을 수 있음을 의미합니다. 따라서 긴 답변을 줄여서, 즉,
max_tokens를 설정해 주는 방식은 하나의 해결책이 될 수 있습니다. 하지만 이는 임시방편에 가깝기 때문에 상황에 따라 다른 조처가 필요할 수 있습니다.판별 모델 조정: 실제로 실무에서는 답변 생성 모델에 맞춰 판별 모델을 조정하는 방식이 더 일반적입니다. 이는 실무에서의 유연성을 높이고, 다양한 케이스에 대해 더 나은 대응을 할 수 있게 합니다. 예를 들어, 판별 모델의 파라미터나 설정을 조정해 긴 답변도 잘 분석할 수 있도록 개선하는 방법이 있습니다.
실무 환경에서의 접근: 답변 생성 모델에 맞추기보다는 판별 모델을 조정하는 것이 더 나은 경우가 많습니다. 이는 다양한 답변을 생성하고 거기에 맞춰 판별하는 것이 더 효율적이기 때문입니다. 필요한 경우, 생성된 답변의 중요 부분만을 판별하는 방식으로 모델을 개선하는 것도 고려해볼 수 있습니다.
위의 해결책들은 실무에서의 상황과 모델의 특성에 따라 적절히 적용되어야 합니다. 더 구체적인 상황에서 어떤 접근이 최선인지 시험과 오류를 통해 찾는 과정이 필요할 수도 있습니다.
이와 관련하여 기존에 다른 학습자들도 비슷한 고민을 해 본 적이 있습니다. 참고할 만한 강의의 Q&A를 링크로 소개해 드립니다:
- ollama(llama3.1)을 사용했을때 답변 생성 이슈: 다른 모델을 사용했을 때의 답변 품질 관련 고찰.
- 두가지 이상 문서를 넣고 싶을때는 어떻게 하나요?: 여러 문서와 모델 판별에 관한 고민이 다뤄진 게시글.
저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.