-
카테고리
-
세부 분야
딥러닝 · 머신러닝
-
해결 여부
미해결
이상치 제거 및 오버샘플링 후 강의와 다르게 성능이 더 안좋게 나타납니다ㅠㅠ
22.01.22 00:17 작성 조회수 183
0
이상치 제거 파트에서
답변을 작성해보세요.
0
권 철민
지식공유자2022.01.22
안녕하십니까,
해당 영상은 사이킷런 0.19.2 로 수행한 결과이므로 새로운 버전에서는 달라질 수 있습니다.
그렇지만 제가 최신 버전의 사이킷런(1.0.2)과 LightGBM(3.3.2) 버전으로 테스트 해본 결과와 지금 질문 올려 주신 결과는 다르군요. 아래는 제가 테스트한 결과 입니다. Light GBM만 해당 되며 AUC 보다는 재현율에 집중해 주시면 될 것 같습니다. 로그변환->이상치제거->SMOTE 할 때마다 재현율이 좋아집니다.
원본 데이터 LGBM: 정확도: 정확도: 0.9995, 정밀도: 0.9573, 재현율: 0.7568, F1: 0.8453, AUC:0.9790
정규 분포 변환후 LGBM: 정확도: 0.9995, 정밀도: 0.9569, 재현율: 0.7500, F1: 0.8409, AUC:0.9779
로그 변환: 정확도: 0.9995, 정밀도: 0.9576, 재현율: 0.7635, F1: 0.8496, AUC:0.9796
이상치 제거: 정확도: 0.9996, 정밀도: 0.9603, 재현율: 0.8288, F1: 0.8897, AUC:0.9780
SMOTE 적용후: 정확도: 0.9996, 정밀도: 0.9118, 재현율: 0.8493, F1: 0.8794, AUC:0.9814
주피터 노트북을 재 기동하시거나 creditcard.csv를 다시 다운로드 받으 신후 수행해 보시거나 사용하시는 사이킷런 버전과 LightGBM 버전을 다시 확인해 보시면 어떨까 싶습니다.
그리고 smote시에 boost_from_average=True로 변경하고 함 적용해 보시지요.
감사합니다.
김남욱
질문자2022.01.25
코랩환경에서 sklearn(1.0.2), lightGBM(2.2.3) 사용 중이며 다시 확인하여도 이상치 제거 후에 재현율이 약간 떨어지고 SMOTE 적용 후에는 재현율이 약간 올라도 정밀도가 0.0217, F1 스코어가 0.0424로 처참하게 나오네요ㅠㅠ
Imbalanced-learn 패키지 버전이 0.8.1 인데 해당 버전이 문제인건지 이유를 잘 모르겠습니다ㅠㅠ
답변 1