챗봇 성능 테스트를 하기에 좋은 플랫폼이 있을까요?
현재 개인정보 배우미 챗봇을 다 만들고 테스트 중에 있습니다.
문서는 총 78개를 넣었고, 문서에서 관련 내용을 잘 찾아서 응답하고 있는데,
실제 문서와 응답을 대조해서 1차로 사람이 확인하는 방법 이외에 langsmith와 같이 성능을 측정하기 위한 플랫폼이 있는지 궁금 합니다. langsmith의 경우 챗봇 속도를 확인하고 각 항목당 어떻게 처리하는지 확인이 가능하나,
질문에 대한 정확도나 유사도를 보기 쉽게 확인하기는 조금 부족한것 같더라구요.. huggingface의 evaluate를 써봤으나,
단어, 구문 구조가 다르면 0점으로 평가될 가능성이 높아 적합하지 않아보입니다.. 혹 추천해주실 만한 플랫폼이 있으실까요?
답변 1
0
안녕하세요!
평가는 해당 도메인에 전문 지식을 갖춘 사람들이 하는 편이 제일 좋습니다. 업로드된 데이터를 기반으로 평가 데이터셋을 만들 수는 있지만, 결국 해당 데이터셋에 오류가 없는지는 결국 도메인 전문가가 판단해야하기 때문입니다. 저는 현재상황에서는 현업 전문가가 직접 평가를 위한 데이터셋을 구축하고 langsmith를 활용하는 편이 제일 괜찮은 것 같습니다
소득세법 docx 파일 공유 요청건
0
63
1
EXAONE 모델 불러오기 안되는 문제
0
87
2
[5.1 강의] LLM Evaluator에 Upstage를 사용하는 방법 + 변경된 Langsmith Docs를 참고하여 구현하는 방법 공유
0
102
2
강의 9에 QA관련된 import가 되지 않네요
0
110
2
🚨 python3.14 를 쓰고 계시면 chroma 에서 ConfigError 가 발생합니다.
1
197
1
강의와 책 관련 질문
0
86
1
문서 전처리 고민
0
108
1
RAG 배포 질문드립니다
0
93
1
강의 내용과는 별개로 궁금한 점이 있습니다
0
87
2
폐쇄망 챗봇 모델
0
91
1
AI agent 쿠폰
0
94
2
저는 왜 그대로 했는데 답변이 틀리게 나오는지 모르겠네요
0
100
2
langchain howto/sequence는 지금 doc 공식 사이트 어디서 확인할 수 있나요?
1
92
1
new_question에 대한 답 출력
0
72
2
랭체인 라이브러리
0
145
2
[LangGraph를 활용한 AI Agent 개발] 쿠폰 유효기간
0
105
1
postgresql의 pgvector 벡터는 어떤가요?
0
341
2
doc관련
0
126
2
load_dotenv() 실행 False
0
93
1
RAG 답변 개선을 위한 정답지 활용 구조 검토 요청
0
117
2
3.2 from langchain.chains ~ 에서 모듈을 찾지 못할 때.
1
402
2
강의 완료 오류
0
87
1
hub.pull 이슈
0
129
2
[3.3 강의] Upstage를 사용한 RAG 구현 성공기 공유
1
147
1