최적의 cv값에 대한 질문

안녕하십니까, 

1. CV를 몇개로 해야 되는지에 대한 기준은 없습니다. 

보통은 전체 데이터의 20%로 정도로 합니다. 그러면 CV는 5정도 됩니다. 그런데 데이터 건수 자체가 작으면 사실 CV를 몇개로 잡느냐에 따라서 성능 차이가 날 수도 있습니다. 그러니까, 전체 데이터 건수가 작다보니 Validation 용으로 잡히는 데이터 건수도 작아지고, 이로 인해서 validation 데이터로 검증 시마다 편차가 심해 질 수 있습니다. 

이게 전체 데이터 건수가 작기 때문에 cv개수에 따라서 편차가 발생하는 것 뿐이지, 이런 편차를 기준으로 성능을 기준점을 잡는다거나, CV 개수에 너무 민감하게 생각할 필요는 없어 보입니다. 현재 200개의 학습 데이터를 기반으로 CV를 7이상 잡으시면 너무 Validation 데이터가 적어서 이에 따른 변동성은 큰 의미가 없어 보입니다. 

cv를 3또는 5정도로 잡으시고 테스트 결과로 판단하시는게 좋아 보입니다(cv=3 일 경우 학습 데이터가 적어져서 성능 영향도가 발생 할 수도 있을 것 같습니다)

2.흔하진 않지만 Train 보다 Test의 성능이 높게 나타날 수도 있습니다. 학습 데이터의 건수가 200건 정도밖에 안되서 충분히 학습 되지 않은 상태에서 test를 적용해서 그런건 아닌지 의심이 되는 군요. 

3. 아마도 데이터 건수가 작은데 stratified fold 방식으로 n_splits를 20개 나누려다 보니, 특정 label의 건수가 상대적으로 아주 작아서 아예 split이 안되는 현상으로 보입니다. 그러니까 전체 학습 데이터 200건중 특정 label의 건수가 20건이 안되는데 이를 n_splits 20으로 나누려다 보니 오류가 발생하는 것 같습니다. 

 n_splits=20 cannot be greater than the number of members in each class