모델에 대한 성능평가 방법
242
69 câu hỏi đã được viết
다른 모델들에 대한 성능을 어떤 방법으로 비교 하였나요?
Câu trả lời 1
0
안녕하세요~. 반갑습니다.
LLM 모델에 대한 성능 평가는 일반적으로 표준 벤치마크 데이터셋에 대한 정확도 측정을 통해 성능을 평가합니다.
예를 들어 아래 Llama 3.3과 다른 LLM 모델들간의 성능 비교표를 보면 MMLU나 MMLU PRO와 같은 벤치마크 데이터셋에 대해서 각 LLM 들의 정확도가 어느정도되는지 확인해보실수 있습니다. (MMLU와 MMLU Pro에 대한 자세한 설명은 [MMLU(Massive Multitask Language Understanding) 벤치마크 데이터셋 소개], [MMLU-PRO 벤치마크 데이터셋 소개] 강의 영상을 참조하세요.)
좋은 하루되세요~.
감사합니다.
LLM 기반 문서 유사도 산출 가능성 관련 문의드립니다
0
118
1
『6. LLM 용어 정리 - 인컨텍스트 러닝(In-context learning)』에 대한 문의
0
396
2
trainer.train() 실행했는데 API key를 입력하라고 합니다. ㅠ
0
137
2
open api 이용 방법
0
184
2
Llama vision 이미지 해상도
0
211
1
API 특정 짓는 법
0
139
2
소량의 fineTuning 이 미치는 영향
0
239
2
파인튜닝모델에게 일반적인 질문 할 경우에 대한 궁금증
0
221
2
데이터셋을 파인튜닝 하는 것과 반대로 필요없는 데이터를 제거하는 방법도 있나요?
0
301
2
Lora 기법 질문
0
167
1
소스코드 다운받을 장소를 알려 주셔요.
0
146
1
섹션 20~23 강의자료가 없습니다.
0
136
1
학습시 API Key를 입력하라고 합니다.
0
951
2
OpenAI Assistants tools 중 retrieval 기능
0
137
0
OpenAI Assistants API 기초 예제 중 client.beta.threads.message.list 함수
0
130
1
Fine Tuning 후 inference 하는 예시(코드) 질문
0
242
1
PEFT_P-Tuning semantic similarity 예제 실행 오류
0
299
4
강사님 Step-back 학습자료가 없습니다.
0
159
2
학습 중지 후 재학습 방법(autotrain 최신 버전)
0
278
1
Fine-tuning 데이터셋 질문
0
292
1
Llama3 response 시간
0
493
2
fine-tuning 완료된 모델 관련 질문
0
224
2
llama 3 파인튜닝 관련 문의 사항
0
640
1
checkpoint 파일이 안생겨요
0
356
2