-
카테고리
-
세부 분야
딥러닝 · 머신러닝
-
해결 여부
해결됨
과적합과 eta
21.01.27 22:34 작성 조회수 133
0
233페이지에 과적합 문제가 심각하다면 eta값을 낮추라고 했는데, 학습률은 overshooting과 local minima문제와 관련된 것이지, 과적합과는 관계가 없는 것 아닌가요?
답변을 작성해보세요.
1
권 철민
지식공유자2021.01.28
안녕하십니까,
말씀하신바가 eta의 이론적인 설명으로 맞습니다. 다만 XGBoost Tuning guide에 overfitting 감소 방안에 대해서 eta 값을 낮추라고 언급이 되어 있습니다.
https://xgboost.readthedocs.io/en/latest/tutorials/param_tuning.html
설명에서는 add randomness를 적용하기 위해서 eta값을 낮추라고 되어 있는데, 좀 의아하긴 합니다. 아마 XGBoost 를 사용하면서 경험적인 요소가 녹아있어서 그렇게 추천한 것 같습니다.
좋은 질문 감사합니다.
0
답변 2