LangSmith로 평가시 0, 1 점수 대신 더 세분화된(예: 5단계) 점수 사용
오늘 라이브 강의 잘 들었습니다! 고맙습니다.
LangSmith에서 rag-answer-vs-reference로 평가하는데 각 항목의 점수가 0,1로만 나와서 아쉽네요. 더 세분화된(예: 5단계) 점수로 평가하려면 어떻게 바꿔야 할지 궁금합니다. 그리고 실제로 사용하실 때 몇 단계 평가를 많이 쓰시나요?
답변 1
1
안녕하세요! 라이브에 참여해주셔서 감사합니다. 말씀하신 rag-answer-vs-reference 의 프롬프트를 LangSmith Hub에서 확인하실 수 있는데요, 프롬프트를 보시면 Score를 0이나 1로 리턴하도록 되어있습니다.
Score:
A score of 1 means that the student's answer meets all of the criteria. This is the highest (best) score.
A score of 0 means that the student's answer does not meet all of the criteria. This is the lowest possible score you can give.여기서 score를 1-5 스케일로 수정해주시면 될 것 같아요!
kernel crash 문의
0
43
2
공식 문서
0
45
1
RAG 파이프라인 고도화와 파인튜닝의 우선순위 및 실무적 판단 기준이 궁금합니다.
0
64
2
책과 차이점
0
65
2
Langchain 공식문서 학습 질문
0
120
2
온톨로지 활용
0
92
2
ollama설치해서 llama로 돌려도 되나요?
0
104
2
소득세법 docx 파일 공유 요청건
0
145
1
EXAONE 모델 불러오기 안되는 문제
0
206
2
[5.1 강의] LLM Evaluator에 Upstage를 사용하는 방법 + 변경된 Langsmith Docs를 참고하여 구현하는 방법 공유
0
163
2
강의 9에 QA관련된 import가 되지 않네요
0
166
2
🚨 python3.14 를 쓰고 계시면 chroma 에서 ConfigError 가 발생합니다.
1
331
1
강의와 책 관련 질문
0
126
1
문서 전처리 고민
0
146
1
RAG 배포 질문드립니다
0
128
1
강의 내용과는 별개로 궁금한 점이 있습니다
0
129
2
폐쇄망 챗봇 모델
0
121
1
AI agent 쿠폰
0
117
2
저는 왜 그대로 했는데 답변이 틀리게 나오는지 모르겠네요
0
141
2
langchain howto/sequence는 지금 doc 공식 사이트 어디서 확인할 수 있나요?
1
123
1
new_question에 대한 답 출력
0
99
2
랭체인 라이브러리
0
205
2
[LangGraph를 활용한 AI Agent 개발] 쿠폰 유효기간
0
129
1
postgresql의 pgvector 벡터는 어떤가요?
0
481
2