인프런 커뮤니티 질문&답변

김남욱

작성한 질문수

[개정판] 파이썬 머신러닝 완벽 가이드

분류 실습 2: 신용카드 사기 예측 실습 - 03

이상치 제거 및 오버샘플링 후 강의와 다르게 성능이 더 안좋게 나타납니다ㅠㅠ

작성

301

이상치 제거 파트에서

def get_preprocessed_df(df=None):
  df_copy = df.copy()
  Amount_log = np.log1p(df_copy["Amount"].values.reshape(-1,1))
  df_copy["Amount"] = Amount_log
  df_copy.drop("Time", axis=1, inplace=True)
  outlier = get_outlier(df_copy, "V14", 1.5)
  df_copy.drop(outlier, axis=0, inplace=True)
  return df_copy
 
위와 같이 전처리 진행해주고 Logistic Regression하고 LightGBM 돌렸는데, 강사님의 결과와 다르게 오히려 로그변환만 했을 때보다 성능이 전체적으로 떨어지게 나오네요ㅠㅠ 왜그런지 이유를 알 수 있을까요??
 
로그변환만 했을 경우
정확도: 0.9996 정밀도: 0.9444 재현율: 0.8041 F1: 0.8686 ROC: 0.9746
 
이상치 제거까지 함께 했을 경우
정확도: 0.9995 정밀도: 0.9280 재현율: 0.7945 F1: 0.8561 ROC: 0.9749
 
 
SMOTE 적용 후 LightGBM 적용도 결과가
 
정확도: 0.9323 정밀도: 0.0217 재현율: 0.8767 F1: 0.0424 ROC: 0.9045
 
로 강사님께서 하신 결과랑 많이 다르게 나오네요...
앞선 3장에서 만든 성능평가 함수가 문제가 있는건가, 아니면 패키지나 라이브러 버전 문제 때문인가 왜그런지 모르겠네요ㅠㅠ
 
그리고 추가적으로 SMOTE를 하면 레이블값이 불균형하지 않으니 LightGBM 파라미터 중 "boost_from_average"를 True로 설정해도 되는 것이 아닌가 궁금합니다

통계 python 머신러닝 배워볼래요?

답변 1

권 철민

지식공유자

안녕하십니까,

해당 영상은 사이킷런 0.19.2 로 수행한 결과이므로 새로운 버전에서는 달라질 수 있습니다.

그렇지만 제가 최신 버전의 사이킷런(1.0.2)과 LightGBM(3.3.2) 버전으로 테스트 해본 결과와 지금 질문 올려 주신 결과는 다르군요. 아래는 제가 테스트한 결과 입니다. Light GBM만 해당 되며 AUC 보다는 재현율에 집중해 주시면 될 것 같습니다. 로그변환->이상치제거->SMOTE 할 때마다 재현율이 좋아집니다.

원본 데이터 LGBM: 정확도: 정확도: 0.9995, 정밀도: 0.9573, 재현율: 0.7568,    F1: 0.8453, AUC:0.9790
정규 분포 변환후 LGBM: 정확도: 0.9995, 정밀도: 0.9569, 재현율: 0.7500,    F1: 0.8409, AUC:0.9779

로그 변환: 정확도: 0.9995, 정밀도: 0.9576, 재현율: 0.7635, F1: 0.8496, AUC:0.9796

이상치 제거: 정확도: 0.9996, 정밀도: 0.9603, 재현율: 0.8288, F1: 0.8897, AUC:0.9780

SMOTE 적용후: 정확도: 0.9996, 정밀도: 0.9118, 재현율: 0.8493, F1: 0.8794, AUC:0.9814

주피터 노트북을 재 기동하시거나 creditcard.csv를 다시 다운로드 받으 신후 수행해 보시거나 사용하시는 사이킷런 버전과 LightGBM 버전을 다시 확인해 보시면 어떨까 싶습니다.

그리고 smote시에 boost_from_average=True로 변경하고 함 적용해 보시지요.

감사합니다.