하이퍼 파라미터 튜닝 기법 적용하기1(XGBoost 실습) 강의에서 질문입니다

Question

하이퍼 파라미터 튜닝 기법 적용하기1(XGBoost 실습) 강의에서 질문입니다. 해당 강의 7:28 부근에서 pbounds에 들어간 하이퍼 파라미터에 대해 설명을 해주셨는데요, pbounds = { 'learning_rate': (0.01, 0.5), 'n_estimators': (100, 1000), 'max_depth': (3, 10), 'min_child_weight': (0, 10), 'subsample': (0.5, 1.0), 'colsample_bytree': (0.5, 1.0), 'gamma': (0, 5) # 'reg_lambda': (0, 1000, 'log-uniform'), # 'reg_alpha': (0, 1.0, 'log-uniform') } 아래에 있는 reg_Lambda와 reg_alpha는 왜 주석 처리를 하고, 사용하지 않았는지 궁금합니다!

잔재미코딩 DaveLee · Answer

안녕하세요. 답변 도우미입니다. 'reg_lambda'와 'reg_alpha'는 L1와 L2 정규화(regularization)를 위한 파라미터로, 과적합(overfitting)을 방지하기 위해 사용됩니다. 그러나 이러한 다양한 파라미터 조합이 항상 성능 개선에 도움이 되는 것은 아니라서, 위 케이스의 경우, 해당 파라미터 설정이 테스트 결과 큰 도움은 되지 않아서, 주석 처리하였습니다. 하지만, 다른 파라미터값과 조합을 변경해서 테스트하면, 주석처리한 파라미터를 설정하는 것이 도움이 되는 경우도 있을 수 있어요. 이 부분은 오롯이 다양한 테스트와 일종의 감?을 통해서 결정한 것입니다. 감사합니다.