인프런 커뮤니티 질문&답변
작성한 질문수
하이퍼 파라미터 튜닝 기법 적용하기1(XGBoost 실습) 강의에서 질문입니다
해결된 질문
작성
·
454
0
하이퍼 파라미터 튜닝 기법 적용하기1(XGBoost 실습) 강의에서 질문입니다.
해당 강의 7:28 부근에서 pbounds에 들어간 하이퍼 파라미터에 대해 설명을 해주셨는데요,
pbounds = {
'learning_rate': (0.01, 0.5),
'n_estimators': (100, 1000),
'max_depth': (3, 10),
'min_child_weight': (0, 10),
'subsample': (0.5, 1.0),
'colsample_bytree': (0.5, 1.0),
'gamma': (0, 5)
# 'reg_lambda': (0, 1000, 'log-uniform'),
# 'reg_alpha': (0, 1.0, 'log-uniform')
}아래에 있는 reg_Lambda와 reg_alpha는 왜 주석 처리를 하고, 사용하지 않았는지 궁금합니다!
답변 1
0
잔재미코딩 DaveLee
지식공유자
안녕하세요. 답변 도우미입니다.
'reg_lambda'와 'reg_alpha'는 L1와 L2 정규화(regularization)를 위한 파라미터로, 과적합(overfitting)을 방지하기 위해 사용됩니다. 그러나 이러한 다양한 파라미터 조합이 항상 성능 개선에 도움이 되는 것은 아니라서, 위 케이스의 경우, 해당 파라미터 설정이 테스트 결과 큰 도움은 되지 않아서, 주석 처리하였습니다. 하지만, 다른 파라미터값과 조합을 변경해서 테스트하면, 주석처리한 파라미터를 설정하는 것이 도움이 되는 경우도 있을 수 있어요. 이 부분은 오롯이 다양한 테스트와 일종의 감?을 통해서 결정한 것입니다.
감사합니다.