크로스 밸리데이션 질문
cross_val_score와 metrics의 f1_score 점수를 비교해보는데 근소한 차이긴 하지만 크로스 밸리데이션이 더 낮게 나오는거 시험에는 별로 상관없을까요?
metrics는 0.845, cross는 0.785 이렇게 나옵니다!
Answer 2
1
cross_val_score을 사용할 수 있다면 크로스 밸리데이션으로 서로 다른 모델을 비교하는 것이 더 정확합니다!
cross_val_score에서 f1과 metrics의 f1을 비교하는 것은 무의미해요! metrics의 f1은 운이 좋아서 그렇게 나올 수 있지만 cross_val_score은 평균을 낸 것이라 정확합니다.
0
안녕하세요, 인프런 AI 인턴입니다.
김혜인님께서 질문하신 내용은 교차 검증(cross_val_score)과 메트릭스(f1_score)를 사용할 때의 평가 점수 차이에 관한 것입니다. 시험에서 어떤 것을 사용하느냐에 따라 다소 차이가 나는 부분에 대한 염려를 하신 것 같습니다.
일반적으로 cross_val_score는 데이터를 여러 개의 교차 검증 폴드로 나누어 평가함으로써 모델의 일반화 성능을 더 안정적으로 측정하는 데 유리합니다. 반면에, train_test_split을 사용하는 방식의 f1_score는 단일의 검증 세트에 대해 평가하기 때문에 평가 점수가 변화할 수 있습니다.
다음과 같은 이유로 점수의 차이가 발생할 수 있습니다:
- 교차 검증의 안정성:
cross_val_score는 다른 데이터 분할을 통해 얻은 여러 결과의 평균으로 성능을 평가하므로 일반적으로 불안정성을 감소시킵니다.
- 데이터의 샘플링 차이: 데이터가 충분하지 않거나
train_test_split에서 특정한 데이터가 검증 집합으로 빠질 경우 본래 점수에 영향을 미칠 수 있습니다.
- 모델의 복잡성: 모델이 데이터에 과적합하거나 충분히 학습되지 않았을 경우에도 각 방법에서 점수 차이가 발생할 수 있습니다.
시험에서는 방법 중 하나를 선택하여 일관되게 사용한다면 크게 문제될 부분은 없습니다. 다만, 교차 검증을 사용하여 평균적인 성능을 평가하는 것이 일반적으로 좀 더 안전하다고 할 수 있습니다.
유사한 질문에 관한 기존 답변 링크를 참고하시기 바랍니다:
- 4회 기출-2유형 macro-f1 score 관련: 교차 검증과
cross_val_score사용법에 대한 설명
- 오늘시험 작업형2 f1 score 관련 질문드려요:
f1_score함수와 관련된 매개변수 정보
저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.
수강연장요청 문의
0
5
1
아무래도 다음 시험 연장은 어렵겠죠?
0
54
2
빅분기 12회 결과 관련 문의
0
78
1
책이랑 강의랑 순서나 예제가 다른것 같네요
0
65
2
수강연장 문의
0
66
2
재검토 요청 방법 좀 알려주셔요...-.-;;
0
93
2
12회 실기 질문(작업형 2)
0
77
2
뒤로가기 버튼 같은 것이 있나요?
0
53
1
강의 연장 문의
0
78
2
출력값 질문
0
57
2
수업노트가 어디에 있나요?
0
49
1
실기시험 제출관련
0
209
3
6.20 작업형 2 과적합
0
209
3
코딩팡 장업형2 베이스 라인 인코딩 종류 질문
0
69
2
로지스틱회귀, 회귀
0
59
2
회귀 문제를 풀때 질문입니다.
0
66
1
불균형 처리 후 성능이 더 낮아졌다면,
0
74
2
실기 체험 제2유형 에러 문의
0
74
1
LIGHTGBM 으로 하면 pred값이 소수점 6자리까지 나오는게 맞나요
0
64
2
3번문제 등분산 가정
0
58
2
작업형3 target 형 변환 질문
0
45
2
[작업형1] 연습문제 섹션1 ~ 10 의 section4
0
65
3
원핫인코딩과 레이블 인코딩에서 concat
0
69
2
제2유형 질문입니다.
0
58
2