테스트데이터셋 평가지표 값 문제

안녕하세요.

OfflineRetrievalEvaluators는 기본적으로 doc_id로 매칭합니다. context_docs와 retrieved_docs의 content가 같아도 doc_id가 다르면 전부 불일치로 평가지표가 0이 됩니다.
아래와 같이 matching_criteria=MatchingCriteria.PARTIAL을 추가하면 content 기반 매칭으로 전환됩니다.

from krag.evaluators import OfflineRetrievalEvaluators, MatchingCriteria

evaluator = OfflineRetrievalEvaluators(
    actual_docs=context_docs,
    predicted_docs=retrieved_docs,
    matching_criteria=MatchingCriteria.PARTIAL  # 이것만 추가
)

청크 크기 차이 등으로 content도 완전히 동일하지 않다면, ROUGE 기반 매칭을 쓸 수 있습니다.

from krag.evaluators import RougeOfflineRetrievalEvaluators, MatchingCriteria

evaluator = RougeOfflineRetrievalEvaluators(
    actual_docs=context_docs,
    predicted_docs=retrieved_docs,
    matching_criteria=MatchingCriteria.PARTIAL,
    match_method="rouge2",
    threshold=0.8
)

인프런 커뮤니티 질문&답변