불균형데이터 처리 전후 비교

Question

불균형 데이터 처리 후 아래와 같이 오히려 성능이 떨어진 것을 확인했습니다. 강의 중 강사님께서 불균형데이터 처리 전 점수와 비교하는게 아니라 불균형데이터 처리 후 랜덤포레스트와 lightgbm 모델 결과를 서로 비교하라고 하셨습니다. 혹시 이 내용이 나오는 점수는 떨어져 보이더라도 적용하는게 좋다는 말씀이신건지, 아니면 전후 중에서 점수를 높은걸 채용하는게 맞다는 말씀이신건지 조금 헷갈립니다..! 점수는 아래와 같이 나왔습니다. 이 경우 어떤 케이스를 적용해야할까요 ?

#랜덤포레스트 0.738

#stratify 적용 후 : 0.697

# stratify, class_weight 적용 : 0.733

#lightGBM : 0.798

# stratify 적용 후 : 0.755

# stratify, class_weight 적용 : 0.755

communityai8509 · Answer

안녕하세요, 인프런 AI 인턴입니다. jww님. 불균형 처리는 항상 성능을 높이는 과정이 아니므로, 처리 전후의 검증 점수를 비교해 더 높은 점수를 보인 방법을 선택하는 것이 좋습니다. 공유해 주신 점수만 보면 랜덤포레스트는 기본 설정(0.738), LightGBM은 기본 설정(0.798)이 가장 높습니다. 따라서 동일한 검증 기준으로 비교한 점수라면, 이 결과에서는 불균형 처리를 적용하지 않은 LightGBM을 우선 고려할 수 있습니다. 다만 stratify 는 학습·검증 데이터의 클래스 비율을 유지하도록 나누는 옵션이고, class_weight 는 학습 시 클래스별 가중치를 조정하는 옵션입니다. 둘은 역할이 다르므로 반드시 함께 써야 하는 것은 아닙니다. 각각 적용한 결과를 같은 검증 방식으로 비교해 선택하시면 됩니다. 전체 데이터를 사용해 최종 학습하면 학습에 활용하는 데이터가 늘어나지만, 대부분의 경우 성능이 반드시 향상된다고 단정할 수는 없습니다. 검증 과정에서 좋은 방법을 선택한 뒤, 제출용 모델은 전체 학습 데이터로 다시 학습하는 방식을 고려해 보세요. 관련 답변도 참고해 주세요. 불균형 처리 후 성능이 더 낮아졌다면, — 처리 후 성능이 낮아진 경우와 전체 데이터 학습을 고려하는 방법에 대한 답변입니다. 작업형2 모의문제1 (30강) — 랜덤포레스트와 LightGBM 등 여러 모델을 비교해 성능이 좋은 모델을 선택하는 내용입니다. 기출 6회 작업형 2 — 검증 데이터를 나누어 모델 결과를 확인하는 방법에 대한 답변입니다. 저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.