캐글 제출 점수
코랩에서 lightgbm으로 학습시키고 f1-score 출력했을 때는 0.5277이 나왔는데 캐글에 제출하니까 0.3028으로 더 낮게 나오는데 왜 이런 건가요??
답변 2
0
검증데이터의 점수와 테스트 데이터의 점수는 차이가 있을 수 있습니다.
현실에서는 여러가지 문제가 있을 수 있는데
시험에서는 우선 검증데이터 기준으로 모델을 비교해 가장 성능 좋은 모델을 제출하는 것이 최선입니다:)
0
안녕하세요, 인프런 AI 인턴입니다. minseo님.
모델을 특정 플랫폼에서 학습시킨 후 다른 플랫폼(예: 캐글)에 제출했을 때 점수가 예상보다 낮게 나오는 경우는 여러 가지 이유가 있을 수 있습니다. 아래에 그 이유와 해결책을 간단히 설명드리겠습니다.
원인 및 해결책
데이터셋 차이 문제:
- 학습 데이터와 캐글 리더보드에서 평가하는 데이터셋의 분포가 다를 수 있습니다. 학습시에 사용한 validation set이 캐글의 테스트 셋과 매우 달랐던 경우에는 성능이 저조할 수 있습니다.
- 학습 데이터와 캐글 리더보드에서 평가하는 데이터셋의 분포가 다를 수 있습니다. 학습시에 사용한 validation set이 캐글의 테스트 셋과 매우 달랐던 경우에는 성능이 저조할 수 있습니다.
모델 과적합:
- 모델이 과도하게 학습 데이터에만 맞추어져서 일반화가 잘 되지 않은 상태일 수 있습니다. 과적합 문제를 해결하기 위해 모델의 복잡도를 줄이고, 교차 검증(cross-validation)을 사용해보세요.
- 모델이 과도하게 학습 데이터에만 맞추어져서 일반화가 잘 되지 않은 상태일 수 있습니다. 과적합 문제를 해결하기 위해 모델의 복잡도를 줄이고, 교차 검증(cross-validation)을 사용해보세요.
데이터 전처리 불일치:
- 학습 및 검증 시 데이터 전처리 과정이 잘못 설정되었다면, 캐글에서의 점수 차이가 발생할 수 있습니다. 특히, 스케일링이나 인코딩 같은 부분이 훈련 데이터와 테스트 데이터에서 일관성을 갖추고 있는지 확인해주세요.
- 학습 및 검증 시 데이터 전처리 과정이 잘못 설정되었다면, 캐글에서의 점수 차이가 발생할 수 있습니다. 특히, 스케일링이나 인코딩 같은 부분이 훈련 데이터와 테스트 데이터에서 일관성을 갖추고 있는지 확인해주세요.
Hyperparameter Tuning 부족:
- 최적의 성능을 위해 하이퍼파라미터 튜닝을 반복하여 모델을 최적화하는 것도 중요합니다.
- 최적의 성능을 위해 하이퍼파라미터 튜닝을 반복하여 모델을 최적화하는 것도 중요합니다.
캐글의 평가 지표와 본인의 평가가 일치하는지 확인:
- 본인이 사용한 평가 지표와 캐글이 사용하는 지표가 같은지 확인해주세요. 예를 들어, 캐글에서 macro F1 score를 평가 지표로 사용한다면 본인도 동일하게 평가를 해야 성능 차이를 이해할 수 있습니다.
- 본인이 사용한 평가 지표와 캐글이 사용하는 지표가 같은지 확인해주세요. 예를 들어, 캐글에서 macro F1 score를 평가 지표로 사용한다면 본인도 동일하게 평가를 해야 성능 차이를 이해할 수 있습니다.
관련하여 비슷한 문제를 다룬 점수의 기준은 어떻게 되는건지 질문을 참고하시면 도움이 될 수 있습니다.
저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.
수강 관련 문의 드립니다.
0
30
3
자치구 상점 수 합(12회)
0
17
1
불균형데이터 처리 전후 비교
0
23
2
레이블인코딩/원핫
0
26
2
인코딩
0
23
2
작업형 2 작업
0
30
2
ttest_rel() 관련 질문
0
32
2
작업형2. 인코딩에 대해 질문드립니다.
0
27
2
작업형3 2-3
0
36
1
코딩팡 2호선 전처리 종합 28번 중고 카메라 매입가 문제 최적화 질문드립니다.
0
29
1
8회 작업형2
0
29
2
작업형2 모의문제2 updated 2026.10
0
47
3
단순선형 회귀분석 신뢰구간,예측구간 관련질문
0
38
2
판다스 부분 강의 듣고 있는데..
0
44
2
코딩팡 Pro 등록방법 문의
0
44
1
'자동으로 저장할 수 없습니다. 이 파일은 원격으로 또는 다른 탭에서 업데이트되었습니다.'
0
30
2
random_state에 따른 최종스코어 점수차이
0
39
2
코랩 백엔드
0
63
3
xgboost 사용 시 오류 이유
0
47
2
작업형 2 제출하는 법
0
60
2
Section 5. 문자열 슬라이싱, 파생변수, 평균값 질문 드립니다.
0
43
1
예시문제 작업형2(ver. 2025)
0
61
2
수강 연장 문의드립니다.
0
54
2
예시문제 작업형2(ver. 2025)
0
53
2





