XGBoost feature importance에 관한 질문
472
작성한 질문수 12
안녕하세요. 수업 잘 듣고 있습니다.
다음은 책 240p에 있는 XGBoost 의 feature importance에 관한 내용인데, 파이썬 래퍼랑 사이킷 래퍼를 사용했을 떄 각각 중요도의 순서가 다르더라구요. 이렇게 되면 제일 중요한 feature 의 순서도가 달라지는 건데 이건 왜 그러는건가요??
사이킷 래퍼는 f21 , f1 , f13 순으로 중요도가 높은 반면에 파이썬 래퍼는 f13, f21 , f1순으로 중요도가 높더라구요!
답변 1
0
안녕하십니까,
python wrapper XGBoost와 사이킷런 wrapper XGBoost 생성 시에 초기화 파라미터가 조금씩 다른 것 같습니다.
물론 python wrapper xgboost의 params = { 'max_depth':3,
'eta': 0.1,
'objective':'binary:logistic',
'eval_metric':'logloss',
'early_stoppings':100
}
사이킷런 wrapper
XGBClassifier(n_estimators=400, learning_rate=0.1, max_depth=3)
부분은 같은데, 이거 외에 Default로 설정이 되는 다른 초기화 파라미터가 다른것 같습니다.
보시면 학습 시 early stopping 이나 log loss도 약간 다릅니다. 그것 때문에 feature importance가 서로 다른 것 같습니다.
감사합니다.
안녕하세요 열심히 수강중인 학생입니다
0
59
2
정수 인덱싱
0
67
2
넘파이 오류
0
83
2
11강 numpy의 axis 축 질문 드립니다.
0
84
2
Kaggle 에서 Santander customer satisfaction data 를 다운로드 되지가 않습니다.
0
76
2
Feature importances 를 보여주는 barplot 이 그래프로 안보여져요.
0
68
2
타이타닉 csv 파일이 주피터 화면에 보이지 않습니다.
0
74
2
타이타닉 csv 파일이 주피터 화면에 보이지 않습니다.
0
62
2
5강 강의 오류가 있어요.
0
82
1
실무에서 LTV 관련 모델 선택 질문입니다!
0
71
2
14강 강의 듣는중에 궁금한게 있어서 질문합니다~
0
68
3
파이썬 다운그레이 후 사이킷런 재설치
0
115
2
좋은 강의 감사합니다.
0
71
2
scoring 함수 음수값
0
66
2
6번 강의에 사이킷런, 파이썬, 아나콘다 각각 버전 일치 안 시키고 진행해도 강의 따라가 지나요?
0
98
2
분류 평가 정확도 예측
0
75
2
안녕하세요. 강의 들으면서 업무에 적용하고 싶은 수강생입니다.
0
97
1
카카오톡 채널 있나요
0
105
1
혹시 강의에서 사용하시는 ppt 받을 수 있는건가요
0
187
2
pca 스케일링 관련하여 질문드립니다.
0
100
2
주피터 대신 구글 코랩
0
170
2
강의에서 사용하는 pdf or ppt자료는 따로 없는 건가요?
0
145
2
실루엣 스코어..
0
83
2
float64 null 값 처리 방법
0
101
2