작업형 2 모의문제 3 훈련율

Question

학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! 질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요 먼저 유사한 질문이 있었는지 검색해보세요 안녕하세요 저는 먼저 혼자 풀어보고 강의를 보는식으로 공부를 하는 중입니다. 베이스라인만 작성하여 아무처리 하지않고 데이터 분리후 (test size = 0.15 , random_state=2022) 최대한 영상과 똑같이 모델 훈련을 하였는데요스코어가 roc , auc , f1모두 자꾸 스코어가 1점으로 나와서 훈련율의 문제인가 싶어 런타임을 재실행하거나 그래도 자꾸 1로나오더라구요 그런데 훈련율 파라미터인 max_samples를 0.5로해도 1로 나오던게 0.01로 하니 인강과 비슷한 점수로 from sklearn.metrics import roc_auc_score, accuracy_score , f1_score model = RandomForestClassifier(random_state=2022,max_depth =5,max_samples =0.01 ) model.fit(X_tr,y_tr) pred = model.predict(X_val) pred_proba = model.predict_proba(X_val) print('roc:',roc_auc_score(y_val,pred_proba[:,1]),'
' , 'accuracy:',accuracy_score(y_val,pred),'
', 'f1:',f1_score(y_val,pred),'
') >>>roc: 0.9712121212121212 accuracy: 0.8648648648648649 f1: 0.8717948717948718 이렇게 나오더라구요 뭐가 문제인걸까요...? 데이터 전체갯수가 300개가 되지않아 과적합된것같단 생각은있는데 인강에서는 저랑 똑같이 진행했는데도 불구하고 점수가 잘나와서 의문이네요 ㅠㅠ

퇴근후딴짓 · Answer

<결론> 제가 보기엔 큰 문제 없어 보입니다. 작은 데이터로 인해 발생한 것 같습니다. 이렇게까지 파라미터 튜닝을 시험에서 하실 필요는 없습니다 🙂 우선 데이터에 따라서 1에 가까운 점수가 나타날 수도 있습니다. 모델도 업데이트가 되다보니 영상과도 다를 수도 있고요~!! test size = 0.5이상 으로 했을때도 여전히 1이면 문제로 의심됩니다. 테스트가 50% 이상인데 1이면 타겟값이 포함되었을 수도 있거든요 추가로 기출6회 작업형2에 점수가 너무 잘 나왔을 때 검증하는 방법(크로스 밸리데이션)을 알려드리고 있습니다.

최우영 · Answer

max_samples = 0.05 >> roc :1 max_samples = 0.015 >> roc: 0.99 max_samples = 0.005 >> roc: 0.5 accuracy: 0.40540540540540543 f1: 0.0 0.005와 0.01사이에서 급하게 점수가 바껴버리니 어렵네요,,,