KFold를 사용하는 이유와 roc_auc가 더 높게 나오는 이유가 뭔가요..?
633
작성한 질문수 2
안녕하세요. 강의 내용 중 교차검증에서 질문이 있어 글을 남깁니다.
이전에 Stratified K 폴드는 불균형한 분포도를 가진 레이블 데이터 집합을 위한 K폴드 방식이라고 설명해주시면서
책에도 '왜곡된 레이블 데이터 세트에서는 반드시 Stratified K폴드를 이용해 교차 검증해야 합니다. 사실, 일반적으로 분류에서의 교차 검증은 K폴드가 아니라 Stratified K폴드로 분할돼야 합니다.' 라고 돼있는데
1. 여기서도 '만족 고객보다 불만족 고객이 훨씬 많은 불균형 데이터임에도 XGBClassifier와 LightGBM을 search_space값으로 교차검증할 때, StratifiedKFold가 아닌 KFold로 교차검증을 하는 특별한 이유가 있을까요..?
또, 실제로 제가 기존 소스코드에서 KFold가 아닌 Stratified로 돌렸을 때
2. XGB같은 경우 Stratified K폴드는 0.8456, KFold는 0.8457의 roc_auc값을 갖고, LightGBM 같은 경우 Stratified K폴드는 0.8411, KFold는 0.8446으로 두 모델 모두 KFold로 교차검증을 진행했을 때 더 높은 roc_auc값을 갖는 이유가 무엇인지 알 수 있을까요..?
제가 Stratified KFold와 KFold에 대해 잘못 이해하고 있는 것인지, 이런 경우에는 적용할 필요가 없는 것인지 알고 싶습니다 ㅠㅠ
답변 1
1
안녕하십니까,
1. 네, 말씀하신대로 StratifiedKfold가 맞습니다.
근데 강의에서도 보여드렸듯이 KFold로 나누어도 다행히(?) 학습과 검증 데이터 세트의 타겟값 분포가 거의 동일하여 그냥 Kfold를 사용하였습니다(사실은 초판 책에 K Fold를 적용해서 쭈욱 그렇게 적용했습니다)
Stratified K Fold냐 K Fold냐를 너무 민감하게(?) 적용 기준을 정하실 필요는 없을 것 같습니다. 하지만 정석대로 라면 Stratified Kfold가 맞습니다.
2. 앞에서도 말씀드린대로 Stratified K Fold나 K fold나 데이터 차이가 별로 없고, 모델 성능 결과 역시 roc - auc 로 차이가 거의 없습니다. 너무 의미를 부여하지 않으셨으면 합니다.
감사합니다.
모델 서빙과 관련된 강좌가 출시되는지 질문드립니다.
0
29
2
안녕하세요 열심히 수강중인 학생입니다
0
71
2
정수 인덱싱
0
75
2
넘파이 오류
0
90
2
11강 numpy의 axis 축 질문 드립니다.
0
90
2
Kaggle 에서 Santander customer satisfaction data 를 다운로드 되지가 않습니다.
0
82
2
Feature importances 를 보여주는 barplot 이 그래프로 안보여져요.
0
71
2
타이타닉 csv 파일이 주피터 화면에 보이지 않습니다.
0
78
2
타이타닉 csv 파일이 주피터 화면에 보이지 않습니다.
0
65
2
5강 강의 오류가 있어요.
0
86
1
실무에서 LTV 관련 모델 선택 질문입니다!
0
74
2
14강 강의 듣는중에 궁금한게 있어서 질문합니다~
0
70
3
파이썬 다운그레이 후 사이킷런 재설치
0
122
2
좋은 강의 감사합니다.
0
76
2
scoring 함수 음수값
0
68
2
6번 강의에 사이킷런, 파이썬, 아나콘다 각각 버전 일치 안 시키고 진행해도 강의 따라가 지나요?
0
104
2
분류 평가 정확도 예측
0
82
2
안녕하세요. 강의 들으면서 업무에 적용하고 싶은 수강생입니다.
0
100
1
카카오톡 채널 있나요
0
111
1
혹시 강의에서 사용하시는 ppt 받을 수 있는건가요
0
191
2
pca 스케일링 관련하여 질문드립니다.
0
103
2
주피터 대신 구글 코랩
0
176
2
강의에서 사용하는 pdf or ppt자료는 따로 없는 건가요?
0
149
2
실루엣 스코어..
0
88
2