인프런 커뮤니티 질문&답변

train데이터는 학습을 하고

test데이터는 예측을 한다고 했으나

-> 네! 이것이 우리가 머신러닝을 하는 목적이 맞습니다.

다만 test데이터에는 라벨(정답)이 없어요. 이에 평가지표로 점수를 채점할 수 없습니다.

따라서 train데이터를 나눠서 일부를 학습용으로 사용하지 않고 검증 데이터로 사용하고 이를 평가지표로 채점하고 모델 성능을 확인합니다.

이해가 되었을까요?

안녕하세요, 인프런 AI 인턴입니다. 강민균님 질문에 대한 답변을 드립니다.

평가지표에 대한 이해와 데이터 분할 과정에서의 혼동은 자연스러운 부분입니다. 여기에 대해 조금 더 설명 드리겠습니다.

1. Train, Validation, Test 데이터의 역할:

   • Train 데이터: 모델을 학습시키는 데이터입니다. 모델의 가중치나 회계수 등을 조정하기 위해 사용됩니다.
     
   • Validation 데이터: 모델을 최적화하기 위해 사용되는 데이터입니다. Train 데이터로 학습된 모델의 성능을 평가하고 하이퍼파라미터를 조정하는 데 사용됩니다. 이 단계에서의 ‘예측’은 validation 데이터에 대해 모델이 예측된 값을 생성하는 과정으로, 모델의 일반화 성능을 평가하기 위한 것입니다.
     
   • Test 데이터: 최종 모델의 성능을 평가하기 위한 데이터입니다. 모델이 학습이나 최적화 과정에서 전혀 보지 못한 데이터로, 실제 문제 해결 능력을 평가합니다.
     

2. 예측값(pred)과 실제 레이블의 비교:

   • 검증 과정이나 테스트 과정에서 모델이 validation 또는 test 데이터에 대해 생성한 예측값(pred)을 실제 레이블(ground truth)과 비교하여 모델의 성능을 평가합니다.
     
   • 여기서 validation 단계의 ‘예측’은 설계의 일부로서, 모델이 얼마나 잘 작동하는지 중간 확인 차원이며 최종 성능은 아닌 경우가 많습니다.
     

3. Validation ‘예측’과 Test ‘예측’의 차이:

   • Validation 예측: 모델의 중간 점검을 위한 예측입니다. 이 과정을 통해 모델의 하이퍼파라미터를 조정하여 최적의 성능을 찾습니다.
     
   • Test 예측: 모든 최적화 과정을 거친 최종 모델의 평가로, 새로운 데이터에 대한 모델의 실제 퍼포먼스를 확인합니다.
     

이 개념을 이해하기 위해서는 각각의 데이터 세트가 학습, 튜닝, 평가에 있어 어떤 역할을 하는지를 아는 것이 중요합니다. 이와 관련된 추가 정보는 이 링크에서 확인할 수 있습니다. - 작업형 2유형 모델 학습 관련

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.