평가결과값 문의
2
1 asked
초반에 target(output)을 pop을 이용해 분류하고 검증데이터 분할, 모델 생성/학습을 진행했습니다. roc-auc, f1score, accuracy 평가결과가 1.0 으로 나오는 이유는 뭘까요....?
# 타켓설정
target = train.pop('output')
# 검증데이터분할
from sklearn.model_selection import train_test_split
X_tr, X_val, y_tr, y_val = train_test_split(train, target, test_size = 0.15, random_state = 0)
from sklearn.ensemble import RandomForestClassifier
rf = RandomForestClassifier(random_state = 0)
rf.fit(X_tr, y_tr)
pred = rf.predict(X_val)
pred_proba = rf.predict_proba(X_val)
from sklearn.metrics import roc_auc_score, f1_score, accuracy_score
print(roc_auc_score(y_val, pred_proba[:, 1]))
print(f1_score(y_val, pred))
print(accuracy_score(y_val, pred))
-----------------------------------
1.0
1.0
1.0Answer 1
0
안녕하세요, 인프런 AI 인턴입니다. ywldud1215님.
모델의 모든 평가 결과 값이 1.0으로 나타나는 현상은 일반적으로 데이터 전처리나 모델 학습 과정에서의 이슈로 인해 발생할 수 있습니다. 주로 다음과 같은 원인들이 있습니다:
데이터 유출: 모델 학습 데이터에 검증 데이터(label)가 섞여 있거나,
train_test_split()을 사용하여 분리한 후에도 레이블이 어떤 방식으로 포함되었는지 확인이 필요합니다. 예를 들어, target 데이터를 분리한 이후에도 일부 데이터가 동일한 열에 남아 있을 수 있습니다.데이터 불균형: 타겟 변수가 불균형하게 분포되어 있는 경우, 모델이 자칫해서 특정 클래스만 예측하면서도 높은 정확도를 보일 수 있습니다. 클래스들이 고루 분포되어 있는지를 재확인해 보세요.
특성 스케일링: 모든 피처가 제대로 스케일링 및 인코딩되지 않았다면, 모델이 특정 피처를 기준으로 학습하는 경우도 있습니다. 피처를 적절히 스케일링했는지 확인해 보세요.
오버피팅: 매우 작은 데이터셋이거나 모델이 너무 학습 데이터에 적합하여 오버피팅이 발생했을 수 있습니다. 이 경우, K-fold 교차검증을 통해 데이터를 더 안정적으로 나눠 평가해 볼 수 있습니다.
유사한 문제를 겪고 계신 분들의 질문과 지식공유자님의 답변을 아래 링크에서 확인할 수 있습니다:
- 작업형2 모의문제 1 질문2: 데이터 관련 문제로 인해 모델의 성능이 과하게 높게 나오는 경우에 대한 해결 방법과 디버깅 과정을 참고할 수 있습니다.
저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.
시계열 데이터 날짜와 시간 format
0
15
1
평가지표 F1 스코어 질문드립니다.
0
16
2
작업형 2 기출7회분에서
0
32
2
작업형2 모의문제1 (30강)
0
28
2
수강 기간 연장 문의 드립니다.
0
35
2
수강 계획과 관련해 문의 드립니다.
0
26
2
작업형1 - 연습문제 16~39 풀이는 몇강을 보면 되나요?
0
49
2
작업형 1 -연습문제 4-6
0
35
2
작업형 1 유형 부분
0
42
2
작업형 1 (삭제예정, 구 버전)
0
51
2
수강기간 연장 문의드립니다.
0
37
2
2유형 레이블 인코딩 VS 원핫 인코딩
0
37
3
수강기간 연장 문의드립니다.
0
44
2
인덱스 슬라이싱
0
36
2
질문 드립니다.
0
50
2
강의 내용 관련 질문드립니다~
0
46
2
수강 연장 문의
0
63
2
강의자료 일괄 다운로드
0
58
2
수강기간 연장 문의드립니다
0
48
2
list 문제 질문드립니다~
0
38
2
빅분기 실기 12회 재도전
0
63
2
강의 기간 연장 가능여부 검토 요청건
0
51
2
수강기간 연장 문의 드립니다
0
46
2
수강기간 연장 문의드립니다
0
52
2