-
카테고리
-
세부 분야
딥러닝 · 머신러닝
-
해결 여부
미해결
HyperoptEstimator 관련 질문
21.08.11 00:47 작성 조회수 182
0
답변을 작성해보세요.
0
권 철민
지식공유자2021.08.11
안녕하십니까,
1, 2번 질문을 통합해서 답변 드리겠습니다.
저도 HyperOptEstimator는 사용해보지 않았지만, HyperOptEstimator와 같은 베이지안 최적화 기법에 기반한 여러 open source 패키지들이 있습니다.
이러한 베이지안 최적화 기법 패키지들은 주로 Grid Search의 문제점을 해결하기 위해 나왔습니다.
Grid Search의 경우 여러가지 hyper parameter 들을 사용자가 설정해주는데, 문제는 설정 범위가 넓거나 hyper parameter의 개수가 많을 경우 최적 hyper parameter를 찾는데 너무 오랜 시간이 걸린다는 것입니다.
특히 XGBOOST나 LightGBM같이 hyper parameter가 많은 경우에는 Grid Search를 적용해서 최적 hyper parameter를 찾기가 굉장히 오랜 시간이 걸려서 적용이 어렵습니다.
반면에 베이지안 최적화 기법은 이러한 문제를 동적으로 하이퍼 파라미터의 범위를 좁혀가면서 찾기 때문에 보다 짧은 시간에 최적의 하이퍼 파라미터를 찾아 줄 수 있습니다.
회귀나 다른 알고리즘의 경우 하이퍼 파라미터가 많지 않아서 Grid Search로도 충분할 수 있지만, xgboost, lightgbm같은 경우는 베이지안 최적화 기법을 이용하여 하이퍼 파라미터 최적화를 적용하는게 더 좋습니다.
감사합니다.
답변 1