지도학습 프로세스 및 데이터 처리 관련 질문

Question

안녕하세요? 강의를 들으면서 공부하다가 조금 개념이 덜 잡혀서 질문드립니다. 머신러닝 지도학습 프로세스: 데이터 전처리 -> 데이터세트분리 -> 모델학습 및 검증평가 -> 예측수행 -> 평가 질문사항 1) 여기서 교차검증은 데이터세트분리 후에 모델학습을 하면서 한다고 생각하면 되는건가요? 아니면 모델학습 후 검증평가 단계에서 한다고 생각하면 되는건가요? 2) p.242(사이킷런 래퍼 XGBoost)에서 평가를 위한 데이터 세트로 테스트 데이터 세트를 사용했다고 써있습니다. 데이터 세트 분리에서 train data set + test data set로 분리되는데, train data set로 모델학습 및 검증평가(교차검증 포함)을 수행하고선 test data set로 예측 수행하고선 그 예측 결과를 평가 하는게 프로세스가 전부하고 생각하는데요. 책의 내용(p.242)을 보면서 제가 무엇을 잘못 생각하고 있는 것 같아서 질문 드립니다.

권 철민 · Answer

안녕하십니까, 1) 여기서 교차검증은 데이터세트분리 후에 모델학습을 하면서 한다고 생각하면 되는건가요? 아니면 모델학습 후 검증평가 단계에서 한다고 생각하면 되는건가요? => 음, 두개의 차이가 의미하는 것을 정확히는 모르겠습니다만, 교차검증은 데이터 세트를 학습과 검증 데이터 세트로 여러번 분리하는 것입니다. K fold로 3 교차 검증을 하면 학습과 검증 데이터 세트를 각각 2/3, 1/3로 쪼갠 뒤 학습 데이터로 학습하고 검증 데이터로 검증합니다. 그리고 이러한 방식을 학습, 검증 데이터를 바꿔 가면서 3번 반복합니다. 즉 학습과 검증 데이터를 교차로 바꿔 가면서 3번씩 학습과 검증을 반복하는 것입니다. 2) p.242(사이킷런 래퍼 XGBoost)에서 평가를 위한 데이터 세트로 테스트 데이터 세트를 사용했다고 써있습니다. 데이터 세트 분리에서 train data set + test data set로 분리되는데, train data set로 모델학습 및 검증평가(교차검증 포함)을 수행하고선 test data set로 예측 수행하고선 그 예측 결과를 평가 하는게 프로세스가 전부하고 생각하는데요. 책의 내용(p.242)을 보면서 제가 무엇을 잘못 생각하고 있는 것 같아서 질문 드립니다. => 책에서도 말씀드렸지만, 데이터 세트의 크기가 작아서 테스트 데이터를 평가용으로 사용했습니다. 일반적으로는 그렇게 하지 않고 말씀하신대로 train데이터를 학습과 검증평가 데이터로 쪼개서 수행합니다. 감사합니다.