eval_set 관련 헷갈리는 부분 질문드립니다.

학습과 검증으로 나누는건 맞는데, 교차 검증하고는 조금 성격이 다릅니다.

eval_set = [(X_train, y_train), (X_test, y_test)] 를 적용하는 이유는 학습 데이터로 X_train, y_train, 검증 데이터로 X_test, y_test를 xgboost가 iteration을 수행할 때마다 사용하기 위함입니다.

xgboost는 num_iterations 수만큼 반복적으로 학습을 수행하는데 이때마다 학습데이터로 학습된 모델을 검증 데이터로 성능 검증을 합니다. 즉 iteration수행 시마다 얼마나 성능이 향상되었는지 검증 데이터로 검증을 합니다.

만약 iteration을 100으로 했는데, 검증 데이터로 성능 검증 시 더 이상 성능이 향상되지 않으면 early stopping으로 학습을 종료합니다. 또한 검증 데이터로 성능이 얼마나 향상되는지를 확인하면서 learning rate등을 어떻게 조정해야 하는지 길잡이 역할을 해줄 수 있습니다.

eval_set에 학습 데이터가 아닌 검증 데이터를 사용하는 이유는 머신러닝은 무조건 학습 데이터의 loss가 최소가 되는 방향으로 학습하기 때문에 오버피팅이 되기 쉽습니다. 따라서 iteration 시 마다의 성능 검증은 검증 데이터를 이용합니다.