light GBM 파라미터 질문
331
51 asked
안녕하세요. 강의 잘 듣고 있습니다 :)
분류 실습 2: 신용카드 사기 예측 실습 - 02, 13:32
에서 boost_from_average 에 대해서 설명해 주시는데요. 해당 파라미터는 무엇을 위한 파라미터 인가요?
그리고 라벨값이 불균형한 경우 해당 파라미터를 False 로 지정하면 왜 재현율, auc 성과에 유리한 것인가요?
답변 부탁드립니다. 감사합니다 :)
Answer 2
1
안녕하십니까,
boost_from_average 파라미터가 정확히 어떤 파라미터인지는 저도 잘 모릅니다.
아래 공식문서에도 adjusts initial score to the mean of labels for faster convergence 라고만 적혀 있습니다.
https://lightgbm.readthedocs.io/en/latest/Parameters.html
다만 정황상(?) 판단컨데, Boosting으로 첫번째 Tree를 만들때 loss를 위해 사용되는 기반 score를 random 값이 아닌 전체 labels값의 평균값에 기반해서 설정을 하는 것으로 판단됩니다.
boost_from_average값의 기본 값은 true인데, 경험적으로 볼때 일반적인 데이터 세트에서는 true가 좀 더 성능이 좋습니다. 심지어 1:9 정도의 skew된 데이터 세트에서도 true가 성능이 좀 더 좋은 것 같습니다.
그런데 신용카드 데이터 세트와 같이 극도로 skew된 데이터 세트에서는 true가 성능이 많이 떨어집니다. 이유는 저도 잘 모르겠습니다. 그나마 추측해 보건데 극도로 skew되어 있을 경우 초기 score값을 전체 labels의 평균값으로 할 경우 평균값이 0에 너~무 가까이 될 경우에 문제가 아닌가 싶습니다(0이 1보다 월등히 많기 때문에).
해당 사항은 강의에서도 말씀드렸듯이 거의 버그(?) 레벨로 간주되어서 lightgbm 사용할 때 유의가 필요한 사항입니다.
감사합니다.
안녕하세요 열심히 수강중인 학생입니다
0
61
2
정수 인덱싱
0
68
2
넘파이 오류
0
85
2
11강 numpy의 axis 축 질문 드립니다.
0
85
2
Kaggle 에서 Santander customer satisfaction data 를 다운로드 되지가 않습니다.
0
79
2
Feature importances 를 보여주는 barplot 이 그래프로 안보여져요.
0
70
2
타이타닉 csv 파일이 주피터 화면에 보이지 않습니다.
0
75
2
타이타닉 csv 파일이 주피터 화면에 보이지 않습니다.
0
64
2
5강 강의 오류가 있어요.
0
84
1
실무에서 LTV 관련 모델 선택 질문입니다!
0
72
2
14강 강의 듣는중에 궁금한게 있어서 질문합니다~
0
69
3
파이썬 다운그레이 후 사이킷런 재설치
0
117
2
좋은 강의 감사합니다.
0
72
2
scoring 함수 음수값
0
67
2
6번 강의에 사이킷런, 파이썬, 아나콘다 각각 버전 일치 안 시키고 진행해도 강의 따라가 지나요?
0
100
2
분류 평가 정확도 예측
0
76
2
안녕하세요. 강의 들으면서 업무에 적용하고 싶은 수강생입니다.
0
98
1
카카오톡 채널 있나요
0
107
1
혹시 강의에서 사용하시는 ppt 받을 수 있는건가요
0
189
2
pca 스케일링 관련하여 질문드립니다.
0
100
2
주피터 대신 구글 코랩
0
172
2
강의에서 사용하는 pdf or ppt자료는 따로 없는 건가요?
0
147
2
실루엣 스코어..
0
85
2
float64 null 값 처리 방법
0
102
2