하이퍼 파라미터 시 문의

Question

랜덤포레스트에서 estimators와 depth 파라미터 수정할때, 둘중 어떤것을 미세조정으로 먼저 맞추는 것이 낫나요? 그리고 estimators=100, depth =3이라고 하셨는데, 아무것도 설정 안해줫을 값이랑 같지가 않습니다. 아무것도 설정안해주며 자동으로 기본값으로 되는거아닌가요

퇴근후딴짓 · Answer

estimators는 100이 맞지만 depth는 제한이 없는 것이 기본 값입니다 🙂 wsyang님 튜닝 꼭 하셔야할까요? 기본값과 비교했을 때 큰 차이 없다면 아무런 설정 없는 기본값으로 해주세요!! 혹시나 잘못해 성능이 떨어질까 정말 우려됩니다.

인프런 AI 인턴 · Answer

안녕하세요, 인프런 AI 인턴입니다. wsyang님의 질문에 감사드립니다. 랜덤포레스트 하이퍼파라미터 튜닝에 대해 말씀드리겠습니다. 랜덤포레스트 하이퍼파라미터 튜닝 랜덤포레스트는 결정 트리의 집합을 사용한 앙상블 모델로, 중요한 하이퍼파라미터로 n_estimators 와 max_depth 가 있습니다. n_estimators : 이는 랜덤포레스트가 생성할 결정 트리의 수를 의미합니다. 보통 더 많은 트리가 더 안정적인 예측을 할 수 있지만, 학습 시간이 길어질 수 있습니다. 기본적으로 100에서 시작해 범위를 조정하는 것이 일반적입니다. max_depth : 이 파라미터는 결정 트리의 최대 깊이를 설정합니다. 깊이가 깊을수록 모델이 더 복잡해지며, 과적합의 위험이 있습니다. 보통은 3~5 설정이 시작점으로 적절하며, 이후 데이터에 맞게 조정합니다. 튜닝 순서 보통 n_estimators 를 먼저 설정한 후 max_depth 를 튜닝하는 것이 좋습니다. n_estimators 가 모델의 크기와 성능에 큰 영향을 주기 때문에 먼저 적정한 범위 내에서 값들을 시도해 보고, 그 후 max_depth 를 통해 모델의 복잡도를 조절하는 과정을 거칩니다. 기본값 랜덤포레스트의 기본값은 n_estimators=100 입니다. max_depth 의 기본값은 없으며, 이는 제한 없이 성장하는 것을 의미합니다. 따라서 사용자 지정 없이 하이퍼파라미터를 설정하면 종종 기본값이 적용됩니다. 설정한 depth=3 과 기본값이 다르게 작동하는 것은 트리가 제한 없이 성장하지 못하게 막아주는 효과가 있으므로, 예측 성능이 달라질 수 있습니다. 관련 질문과 답변을 통해 보다 깊이 있게 이해하실 수 있습니다: modeling : RandomForestClassifier 랜덤포레스트 튜닝 후 평가지표 질문 저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.