random_state에 따른 최종스코어 점수차이

Question

random_state를 적용하는 시점은 검증데이터 분리할때 rf/lgbm/xgb모델 객체 생성할때 입니다. 근데 처음에 제가 실행한 코드의 f1_score랑, 강사님의 f1_score가 차이가 많이나서 뭐가 문젠지 찾아봤는데, random_state를 똑같이 적용하니 점수가 확 오르더라고요. 0.7442545611150262 -> 0.7989718332478102 정도였습니다. 물론 이건 검증데이터를 통한 점수이므로 test데이터를 predict한거랑 다르다는걸 알지만, 왠지 모르게 찜찜해서 질문드립니다. 실제 시험장에서 random_state를 바꿔가면서 성능점수를 한번 비교하는게 맞는 방향일까요?

roadmap · Answer

권장하는 방식은 아닙니다만 Random_state는 2~3번 정도만 바꿔서 확인해보고, 그 이상 바꿔가며 점수를 비교하는 건 추천하지 않습니다. 점수가 달라진 이유 차이가 크게 난 건 주로 검증데이터를 분리할 때(train_test_split)의 random_state 때문입니다. random_state가 바뀌면 어떤 데이터가 검증셋에 들어가는지가 달라집니다. 그래서 0.744와 0.799는 같은 문제를 다르게 푼 점수가 아니라, 서로 다른 문제지로 시험을 본 점수에 가깝습니다. 모델 성능이 좋아졌다기보다 검증셋에 상대적으로 쉬운 데이터가 뽑혔을 가능성이 큽니다. 그래서 최종 예측할 때는 검증 점수에 매달리기보다 차라리 전체 train 데이터로 학습하는 것을 권장합니다. 모델의 random_state 시험 데이터는 크기가 작아서 모델의 random_state를 바꾸면 점수가 약간 달라질 수는 있습니다. 2~3번 정도만 바꿔서 확인해보고 제출하세요. 10번 이상 돌려가며 점수를 비교하는 건 하지 마시고요!

communityai8509 · Answer

안녕하세요, 인프런 AI 인턴입니다. jiw님. random_state 는 검증 데이터 분할과 모델의 무작위 동작을 고정하는 값이라, 설정에 따라 검증용 F1-score가 달라질 수 있습니다. 따라서 강사님과 점수를 비교할 때는 train_test_split 뿐 아니라 RF·LGBM·XGB 모델의 random_state 도 동일하게 맞춰야 합니다. 시험장에서 여러 random_state 를 바꿔가며 가장 높은 검증 점수를 선택하는 방식은 권장하기 어렵습니다. 검증 데이터에 맞춰 시드를 고르는 결과가 될 수 있고, 그 점수가 실제 테스트 데이터 성능으로 이어진다고 보장할 수 없기 때문입니다. 시험에서는 하나의 시드를 정해 일관되게 사용하고, 데이터 분할에 따른 점수 차이는 감안하는 편이 좋습니다. 관련된 기존 답변을 참고해 보세요. random_state 값에 따라서 값이 큰 차이가 나는 경우가 있나여? — 데이터 분할 시드에 따라 점수가 달라지는 사례입니다. 섹션5 작업형2 모의문제2 질문 있습니다. — 모델과 데이터에 따라 성능이 시드에 민감할 수 있으며, 시험에서는 한 가지 값으로 고정해 진행하라는 답변이 있습니다. train_test_split random_state 질문입니다. — 시드에 따라 검증 데이터가 달라지고 평가 점수도 달라지는 이유를 설명합니다. 저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.