• 카테고리

    질문 & 답변
  • 세부 분야

    딥러닝 · 머신러닝

  • 해결 여부

    해결됨

하이퍼 파라미터 튜닝 기법 적용하기1(XGBoost 실습) 강의에서 질문입니다

23.07.27 22:18 작성 조회수 318

0

하이퍼 파라미터 튜닝 기법 적용하기1(XGBoost 실습) 강의에서 질문입니다.

해당 강의 7:28 부근에서 pbounds에 들어간 하이퍼 파라미터에 대해 설명을 해주셨는데요,

pbounds = {  
    'learning_rate': (0.01, 0.5),  
    'n_estimators': (100, 1000),      
    'max_depth': (3, 10),            
    'min_child_weight': (0, 10),
    'subsample': (0.5, 1.0),  
    'colsample_bytree': (0.5, 1.0),   
    'gamma': (0, 5)
    # 'reg_lambda': (0, 1000, 'log-uniform'),
    # 'reg_alpha': (0, 1.0, 'log-uniform')    
}

아래에 있는 reg_Lambda와 reg_alpha는 왜 주석 처리를 하고, 사용하지 않았는지 궁금합니다!

답변 1

답변을 작성해보세요.

0

안녕하세요. 답변 도우미입니다.

'reg_lambda'와 'reg_alpha'는 L1와 L2 정규화(regularization)를 위한 파라미터로, 과적합(overfitting)을 방지하기 위해 사용됩니다. 그러나 이러한 다양한 파라미터 조합이 항상 성능 개선에 도움이 되는 것은 아니라서, 위 케이스의 경우, 해당 파라미터 설정이 테스트 결과 큰 도움은 되지 않아서, 주석 처리하였습니다. 하지만, 다른 파라미터값과 조합을 변경해서 테스트하면, 주석처리한 파라미터를 설정하는 것이 도움이 되는 경우도 있을 수 있어요. 이 부분은 오롯이 다양한 테스트와 일종의 감?을 통해서 결정한 것입니다.

감사합니다.