-
질문 & 답변
카테고리
-
세부 분야
딥러닝 · 머신러닝
-
해결 여부
미해결
지도학습 프로세스 및 데이터 처리 관련 질문
21.12.22 13:56 작성 조회수 210
1
안녕하세요?
강의를 들으면서 공부하다가 조금 개념이 덜 잡혀서 질문드립니다.
머신러닝 지도학습 프로세스: 데이터 전처리 -> 데이터세트분리 -> 모델학습 및 검증평가 -> 예측수행 -> 평가
질문사항
1) 여기서 교차검증은 데이터세트분리 후에 모델학습을 하면서 한다고 생각하면 되는건가요? 아니면 모델학습 후 검증평가 단계에서 한다고 생각하면 되는건가요?
2) p.242(사이킷런 래퍼 XGBoost)에서 평가를 위한 데이터 세트로 테스트 데이터 세트를 사용했다고 써있습니다.
데이터 세트 분리에서 train data set + test data set로 분리되는데,
train data set로 모델학습 및 검증평가(교차검증 포함)을 수행하고선 test data set로 예측 수행하고선 그 예측 결과를 평가 하는게 프로세스가 전부하고 생각하는데요. 책의 내용(p.242)을 보면서 제가 무엇을 잘못 생각하고 있는 것 같아서 질문 드립니다.
답변을 작성해보세요.
1
권 철민
지식공유자2021.12.23
안녕하십니까,
1) 여기서 교차검증은 데이터세트분리 후에 모델학습을 하면서 한다고 생각하면 되는건가요? 아니면 모델학습 후 검증평가 단계에서 한다고 생각하면 되는건가요?
=> 음, 두개의 차이가 의미하는 것을 정확히는 모르겠습니다만,
교차검증은 데이터 세트를 학습과 검증 데이터 세트로 여러번 분리하는 것입니다.
K fold로 3 교차 검증을 하면 학습과 검증 데이터 세트를 각각 2/3, 1/3로 쪼갠 뒤 학습 데이터로 학습하고 검증 데이터로 검증합니다. 그리고 이러한 방식을 학습, 검증 데이터를 바꿔 가면서 3번 반복합니다. 즉 학습과 검증 데이터를 교차로 바꿔 가면서 3번씩 학습과 검증을 반복하는 것입니다.
2) p.242(사이킷런 래퍼 XGBoost)에서 평가를 위한 데이터 세트로 테스트 데이터 세트를 사용했다고 써있습니다.
데이터 세트 분리에서 train data set + test data set로 분리되는데,
train data set로 모델학습 및 검증평가(교차검증 포함)을 수행하고선 test data set로 예측 수행하고선 그 예측 결과를 평가 하는게 프로세스가 전부하고 생각하는데요. 책의 내용(p.242)을 보면서 제가 무엇을 잘못 생각하고 있는 것 같아서 질문 드립니다.
=> 책에서도 말씀드렸지만, 데이터 세트의 크기가 작아서 테스트 데이터를 평가용으로 사용했습니다. 일반적으로는 그렇게 하지 않고 말씀하신대로 train데이터를 학습과 검증평가 데이터로 쪼개서 수행합니다.
감사합니다.
답변 1