강의

멘토링

커뮤니티

Inflearn Community Q&A

canflight0080096's profile image
canflight0080096

asked

Large Language Model for Everyone LLM (Large Language Model) Part 1 - Try Fine-Tuning Llama 2

Llama 1 모델 논문 리뷰

모델에 대한 성능평가 방법

Written on

·

180

0

다른 모델들에 대한 성능을 어떤 방법으로 비교 하였나요?

딥러닝pytorchchatgptllmllama

Answer 1

0

AISchool님의 프로필 이미지
AISchool
Instructor

안녕하세요~. 반갑습니다.


LLM 모델에 대한 성능 평가는 일반적으로 표준 벤치마크 데이터셋에 대한 정확도 측정을 통해 성능을 평가합니다.


예를 들어 아래 Llama 3.3과 다른 LLM 모델들간의 성능 비교표를 보면 MMLU나 MMLU PRO와 같은 벤치마크 데이터셋에 대해서 각 LLM 들의 정확도가 어느정도되는지 확인해보실수 있습니다. (MMLU와 MMLU Pro에 대한 자세한 설명은 [MMLU(Massive Multitask Language Understanding) 벤치마크 데이터셋 소개], [MMLU-PRO 벤치마크 데이터셋 소개] 강의 영상을 참조하세요.)

llama_3_3_benchmark_2.png.webp

좋은 하루되세요~.

감사합니다.

canflight0080096's profile image
canflight0080096

asked

Ask a question