stratified k-fold 질문입니다

좋은 질문보고 저도 하나 여쭤보고 공부해 가려 합니다.
권철민 선생님 말씀을 정리하면
1. 전체 데이터를  나눌때도 비율을 맞추어 train/test나눕니다.
2. train 데이터를 stratified K-fold를 사용하여 train/validation 데이터로 바꾸는것을 조언해주시는 건가요?

안녕하십니까,

stratified k-fold가 학습데이터, 전체 데이터를 가려 가면서 나누지는 않습니다. split(X, y)에 인자값으로 들어온 X를 target 값 y에 균등하게 나눌 뿐입니다.

다만 테스트 데이트는 별도로 분리하고, 학습 데이터를 기반으로 학습/검증 stratified fold 셋트를 만드는 것이 일반적인 방식입니다.

그리고 지적해주신 바와 같이 학습 데이터와 테스트 데이터가 label 별로 고르게 안나누어 질경우에는 실제로 테스트 데이터로 테스트를 수행할 때 학습/검증 데이터와 다른 성능 수치를 나타 낼 수 있습니다.

cross-validation은 여러번 검증 프로세스를 수행하면서 보다 안정적인 모델을 구축하고 성능을 평가하고자 하는 목적이 있습니다. 그리고 테스트 세트는 실제 업무에 사용되는 데이터의 형태와 분포도에 맞게 데이터를 구축해 주실 필요가 있습니다. 그래서 실제 업무에 테스트 데이터를 구축할 때 실제 데이터의 트랜젝션대로 구현하려 많은 노력을 합니다.

요약하자면 학습/검증 데이터를 포함하여 테스트 데이터 역시 전체 데이터의 target 값 데이터 분포를 유지하면서 분리해 주는게 좋습니다.  먼저 학습/테스트 데이터 세트를 target 값 데이터 분포를 유지하며 분리해주고 학습 데이터의 경우 Cross-validation을 위해서는 stratified k-fold로 수행해주는 게 좋습니다. 

좋은 질문 감사합니다.