K-Fold 등의 교차 검증 이후 최종적인 best model은 어떻게 선택하나요?

그렇다면 교차검증이란, 다양한 분류 모델을 동일한 데이터셋을 이용하여 '모델간 성능을 비교하는 것'만이 목적이라는 것으로 이해하면 되는 것일까요?

예를 들어 이진분류를 하고 싶은데,
로지스틱리그레션, 디지전트리, 랜덤포레스트 3가지 모델 중 어떤 것이 좋을까를 결정하기 위하여 3가지 모델에 대하여 KFold를 각각 돌려보고 그 중에 평균값이 좋은 분류 모델을 택하는 과정이다라고 생각하는게 좋겠군요.

저는 알고리즘은 정해진 상태에서 학습을 통하여 내부의 파라미터들 (중간 레이어의 weight 같은 것들)의 최적값을 더 잘 찾는 방법 중의 하나로 KFold를 생각했던 것 같습니다.

안녕하십니까,

흥미로운 질문이군요.

교차 검증은 데이터가 제한되어 있는 상태에서 보다 효율적으로 모델을 검증하기 위한 방법입니다. 때문에 말씀하신대로 학습 데이터를 상당 수준 변경하는 방식으로 학습 모델을 변경해서 테스트하는 것이 목적이 아닙니다.

여러 다른 알고리즘이나 하이퍼 파라미터로 학습된 모델들 중 보다 성능이 좋은 모델을 찾아내기 위해서 적절한 검증 방법이 필요한데, 이를 위해 보다 다양한 검증 데이터 세트를 부여해서 검증을 수행하고자 하는것이 교차 검증의 목표 입니다.

GridSearchCV의 경우 서로 다른 하이퍼 파라미터로 모델 알고리즘을 학습하고, 이를 교차 검증으로 성능 검증을 하기 때문에 어떤 하이퍼 파라미터로 학습된 Estimator가 Best인지 제공해 주지만, KFold는 그런 개념과는 다릅니다.

감사합니다.