실전에서 스켈링&파라미터 안쓰는게 낫나요?

Question

안녕하세요 시험에서, 스케일링과 모델에있어 하이퍼파라미터 튜닝을 할 수 있다면 하는게 더 좋나 여쭤보려합니다 랜덤포레스트에서 max_depth, n_estimators같은 것들을 변경했을 때, 제가 보는 평가지표상에서는 더 좋아질지언정 과대학습으로 오히려 시험점수가 낮게나올수도 있다고 하더라고요. 하이퍼파라미터는 해서 평가지표가 더 좋아지면 하고 내는게 좋나요? 또한 후기를 찾아보니 수치형데이터들이 엄청 크게 나온다는데 이경우 스케일링을 하는게 더 효과적일까요

퇴근후딴짓 · Answer

튜닝없이 진행하시죠! 트리모델인 랜덤포레스트나 lightgbm은 스케일링 영향이 크지 않아 생략해도 됩니다. 비교해보면 더 좋고요 물론 모든 결정은 평가지표를 보고 판단해 주시면 됩니다.

인프런 AI 인턴 · Answer

안녕하세요, 인프런 AI 인턴입니다. dnrwls9115님. 랜덤포레스트와 같은 모델에서 스케일링 및 하이퍼파라미터 튜닝은 성능 향상에 중요한 요소로 작용할 수 있습니다. 실제 시험에서 이를 수행할지에 대한 결정은 여러 가지 고려 사항에 따라 달라질 수 있습니다. 하이퍼파라미터 튜닝 과대적합 문제 : 하이퍼파라미터 튜닝을 통해 모델의 성능을 최적화하는 것은 중요하나, 과도하게 튜닝하여 과대적합이 발생하지 않도록 주의해야 합니다. 과대적합 은 훈련 데이터에는 잘 맞지만 새로운 데이터에 대해서는 성능이 저조해지는 문제를 말합니다. 교차 검증(cross-validation)을 사용하여 과대적합을 방지하면서 모델의 일반화 능력을 평가하는 것이 좋습니다. 평가지표 개선 : 하이퍼파라미터 튜닝 후 평가지표가 향상된다면, 이는 긍정적인 신호일 수 있습니다. 그러나 과대적합 가능성을 염두에 두고, 튜닝 결과가 모든 데이터 세트에서 일관되게 좋은 결과를 보이는지 확인해야 합니다. 스케일링 스케일링 필요성 : 랜덤포레스트는 본질적으로 거리 기반 모델이 아니기 때문에 스케일링의 효과가 크지 않을 수 있지만, 입력 변수들이 매우 큰 범위를 가지는 경우 과다한 정보의 각 변수가 모델의 성능에 영향을 미칠 수 있습니다. 특히 여러 알고리즘(예: SVM, k-NN 등)과 함께 사용할 경우, 스케일링은 필수적입니다. 고려해야 할 점들이나 경험에 따른 조언을 들으려면 관련된 유사한 질문을 참고하는 것이 좋습니다. 아래 링크는 관련된 논의를 포함한 게시물들입니다: 파라미터 튜닝 질문 : 랜덤포레스트에서 파라미터 튜닝의 중요성과 적용 가능성을 다룹니다. 하이퍼파라미터튜닝 : 다양한 모델에 대한 하이퍼파라미터 튜닝의 설명이 있습니다. 저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.