하이퍼 파라미터 튜닝 범위
605
9 asked
안녕하세요! 수업 잘 듣고 있습니다.
제가 지금 질문이 생긴 범위는 xgboost나 lightgbm들 하이퍼 파라미터 튜닝시 max_depth나 min_child_weigh등 각각의 범위를 지정해주는데 (ex) 학습률이나, hp.quniform('max_depth',5,20,1) 이런 범위들은 문제마다 다르게 설정해주어야 하는건 알겠는데 제가 나중에 새로운 문제를 혼자 풀 때 어떤수치를 보고 파라미터 범위들을 설정해주어야하는 걸까요??
Answer 1
0
안녕하십니까,
XGBoost나 LightGBM는 하이퍼 파라미터가 매우 많기 때문에 이를 최적으로 설정하는데 정해진 방법은 없습니다.
다만 여러번 수행해 보면서 경험적인 감을 익혀나가는 방법이 최적인것 같습니다.
저의 개인적인 경험으로는 주요 하이퍼 파라미터들을 집중하여 다양한 범위로 테스트 해보면서 최적값을 찾는것이 보다 빠른 시간에 최적화를 가져오는 것 같습니다.
예를 들어 LightGBM의 경우
num_leaves, min_child_samples, subsample, colsample_bytree 위주로 집중적으로 테스트해보고, 여기에 max_depth와 같은 파라미터와 함께 learning_rate등을 변경해 가면서 테스트를 하는 방식을 주로 선택합니다.
앞서 말씀드린 대로 XGBoost, LightGBM 하이퍼 파라미터 튜닝에 정해진 최적의 방법은 없습니다. 하이퍼 파라미터주요 하이퍼 파라미터를 중심으로 베이지안 최적화 방식으로 튜닝을 진행하는 것이 상당 수준까지 모델 성능을 향상 시키는데 도움이 됩니다.
본 강의의 질문 게시판을 '하이퍼파라미터' 또는 '하이퍼 파라미터' 로 검색해 보시면 비슷한 질문과 그에 대한 저의 답변들을 쭉 살펴 보실 수 있습니다.
감사합니다.
안녕하세요 열심히 수강중인 학생입니다
0
59
2
정수 인덱싱
0
67
2
넘파이 오류
0
83
2
11강 numpy의 axis 축 질문 드립니다.
0
84
2
Kaggle 에서 Santander customer satisfaction data 를 다운로드 되지가 않습니다.
0
76
2
Feature importances 를 보여주는 barplot 이 그래프로 안보여져요.
0
68
2
타이타닉 csv 파일이 주피터 화면에 보이지 않습니다.
0
74
2
타이타닉 csv 파일이 주피터 화면에 보이지 않습니다.
0
62
2
5강 강의 오류가 있어요.
0
82
1
실무에서 LTV 관련 모델 선택 질문입니다!
0
71
2
14강 강의 듣는중에 궁금한게 있어서 질문합니다~
0
68
3
파이썬 다운그레이 후 사이킷런 재설치
0
115
2
좋은 강의 감사합니다.
0
71
2
scoring 함수 음수값
0
66
2
6번 강의에 사이킷런, 파이썬, 아나콘다 각각 버전 일치 안 시키고 진행해도 강의 따라가 지나요?
0
98
2
분류 평가 정확도 예측
0
75
2
안녕하세요. 강의 들으면서 업무에 적용하고 싶은 수강생입니다.
0
97
1
카카오톡 채널 있나요
0
105
1
혹시 강의에서 사용하시는 ppt 받을 수 있는건가요
0
187
2
pca 스케일링 관련하여 질문드립니다.
0
100
2
주피터 대신 구글 코랩
0
170
2
강의에서 사용하는 pdf or ppt자료는 따로 없는 건가요?
0
145
2
실루엣 스코어..
0
82
2
float64 null 값 처리 방법
0
99
2