평가지표(이진/다중 분류, 회귀) 3분지점에 대해 보충 설명을 요청합니다.

작성한 질문수 29

0

train데이터는 학습을 하고

test데이터는 예측을 한다고 했으나

-> 네! 이것이 우리가 머신러닝을 하는 목적이 맞습니다.

다만 test데이터에는 라벨(정답)이 없어요. 이에 평가지표로 점수를 채점할 수 없습니다.

따라서 train데이터를 나눠서 일부를 학습용으로 사용하지 않고 검증 데이터로 사용하고 이를 평가지표로 채점하고 모델 성능을 확인합니다.

이해가 되었을까요?

0

안녕하세요, 인프런 AI 인턴입니다. 강민균님 질문에 대한 답변을 드립니다.

평가지표에 대한 이해와 데이터 분할 과정에서의 혼동은 자연스러운 부분입니다. 여기에 대해 조금 더 설명 드리겠습니다.

1. Train, Validation, Test 데이터의 역할:

   • Train 데이터: 모델을 학습시키는 데이터입니다. 모델의 가중치나 회계수 등을 조정하기 위해 사용됩니다.
     
   • Validation 데이터: 모델을 최적화하기 위해 사용되는 데이터입니다. Train 데이터로 학습된 모델의 성능을 평가하고 하이퍼파라미터를 조정하는 데 사용됩니다. 이 단계에서의 ‘예측’은 validation 데이터에 대해 모델이 예측된 값을 생성하는 과정으로, 모델의 일반화 성능을 평가하기 위한 것입니다.
     
   • Test 데이터: 최종 모델의 성능을 평가하기 위한 데이터입니다. 모델이 학습이나 최적화 과정에서 전혀 보지 못한 데이터로, 실제 문제 해결 능력을 평가합니다.
     

2. 예측값(pred)과 실제 레이블의 비교:

   • 검증 과정이나 테스트 과정에서 모델이 validation 또는 test 데이터에 대해 생성한 예측값(pred)을 실제 레이블(ground truth)과 비교하여 모델의 성능을 평가합니다.
     
   • 여기서 validation 단계의 ‘예측’은 설계의 일부로서, 모델이 얼마나 잘 작동하는지 중간 확인 차원이며 최종 성능은 아닌 경우가 많습니다.
     

3. Validation ‘예측’과 Test ‘예측’의 차이:

   • Validation 예측: 모델의 중간 점검을 위한 예측입니다. 이 과정을 통해 모델의 하이퍼파라미터를 조정하여 최적의 성능을 찾습니다.
     
   • Test 예측: 모든 최적화 과정을 거친 최종 모델의 평가로, 새로운 데이터에 대한 모델의 실제 퍼포먼스를 확인합니다.
     

이 개념을 이해하기 위해서는 각각의 데이터 세트가 학습, 튜닝, 평가에 있어 어떤 역할을 하는지를 아는 것이 중요합니다. 이와 관련된 추가 정보는 이 링크에서 확인할 수 있습니다. - 작업형 2유형 모델 학습 관련

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.