XGboost와 LightGBM Feature importance 관련 질문드립니다.
663
1 asked
안녕하세요.
우선 좋은 강의를 제공해주셔서 감사의 인사를 먼저드립니다.
다름이 아니라 XGboost와 LightGBM관련하여 강의를 듣던 중
scikitlearn wrapper의 Feature importance에서 XGboost로 실행을 한 경우에는 f1이 가장 중요한 속성으로 선정이 된 반면,
LightGBM의 경우에는 f21이 가장 중요한 속성으로 선정이 되었는데요..
어떤 원인으로 다른 결과가 나오는 건지, 만약 가장 중요하게 선정된 Feature가 다른 경우에는 어떤 것을 기준으로 잡는 것이 옳은 것인지 설명을 부탁드리겠습니다.
부족한 부분이 많아 너무 뜬금없는 질의를 드리는 건 아닌지 모르겠습니다.
그럼 답변 부탁드리겠습니다. 감사합니다.
Answer 2
0
안녕하십니까,
xgboost, lightgbm 모두가 gbm 기반이지만, 아무래도 구현 자체는 달라서 feature importance가 서로 동일하지 않은것 같습니다. 또한 초기화 파라미터도 다르고, depth wise인 xgboost와 달리 lightgbm은 leaf wise로 tree를 생성하는등 어느정도 차이가 있어서 그런것 같습니다.
feature importance는 참조하는 정도로 보셨으면 좋을 것 같습니다. 알고리즘 별로 처리하는 로직이 다르기 때문에 굳이 특정 알고리즘이 바라보는 feature importance가 다른 알고리즘과 같아야 할 필요는 없습니다. 특정 알고리즘은 이렇게 feature importance를 감안하고 학습하는가 정도로 생각해 주시면 될 것 같습니다. 또한 하이퍼 파라미터값이 달라지면 feature importance가 최초의 feature importance에서 변할 수 있습니다.
훌륭한 질문 감사합니다.
안녕하세요 열심히 수강중인 학생입니다
0
63
2
정수 인덱싱
0
68
2
넘파이 오류
0
85
2
11강 numpy의 axis 축 질문 드립니다.
0
85
2
Kaggle 에서 Santander customer satisfaction data 를 다운로드 되지가 않습니다.
0
79
2
Feature importances 를 보여주는 barplot 이 그래프로 안보여져요.
0
70
2
타이타닉 csv 파일이 주피터 화면에 보이지 않습니다.
0
75
2
타이타닉 csv 파일이 주피터 화면에 보이지 않습니다.
0
64
2
5강 강의 오류가 있어요.
0
84
1
실무에서 LTV 관련 모델 선택 질문입니다!
0
72
2
14강 강의 듣는중에 궁금한게 있어서 질문합니다~
0
69
3
파이썬 다운그레이 후 사이킷런 재설치
0
117
2
좋은 강의 감사합니다.
0
72
2
scoring 함수 음수값
0
67
2
6번 강의에 사이킷런, 파이썬, 아나콘다 각각 버전 일치 안 시키고 진행해도 강의 따라가 지나요?
0
100
2
분류 평가 정확도 예측
0
78
2
안녕하세요. 강의 들으면서 업무에 적용하고 싶은 수강생입니다.
0
99
1
카카오톡 채널 있나요
0
107
1
혹시 강의에서 사용하시는 ppt 받을 수 있는건가요
0
190
2
pca 스케일링 관련하여 질문드립니다.
0
100
2
주피터 대신 구글 코랩
0
172
2
강의에서 사용하는 pdf or ppt자료는 따로 없는 건가요?
0
148
2
실루엣 스코어..
0
86
2
float64 null 값 처리 방법
0
103
2