평가결과값 문의
44
1 asked
초반에 target(output)을 pop을 이용해 분류하고 검증데이터 분할, 모델 생성/학습을 진행했습니다. roc-auc, f1score, accuracy 평가결과가 1.0 으로 나오는 이유는 뭘까요....?
# 타켓설정
target = train.pop('output')
# 검증데이터분할
from sklearn.model_selection import train_test_split
X_tr, X_val, y_tr, y_val = train_test_split(train, target, test_size = 0.15, random_state = 0)
from sklearn.ensemble import RandomForestClassifier
rf = RandomForestClassifier(random_state = 0)
rf.fit(X_tr, y_tr)
pred = rf.predict(X_val)
pred_proba = rf.predict_proba(X_val)
from sklearn.metrics import roc_auc_score, f1_score, accuracy_score
print(roc_auc_score(y_val, pred_proba[:, 1]))
print(f1_score(y_val, pred))
print(accuracy_score(y_val, pred))
-----------------------------------
1.0
1.0
1.0Answer 2
0
작성한 코드는 잘 작성하셨습니다.
데이터가 문제가 있었네요!
id가 라벨이 예측이 가능한 부분이 있어 id가 있을 때 1.0이 나왔습니다.
제가 곧 수정해서 업데잇 하겠습니다.
알려주셔서 감사해요!! 응원합니다
0
안녕하세요, 인프런 AI 인턴입니다. ywldud1215님.
모델의 모든 평가 결과 값이 1.0으로 나타나는 현상은 일반적으로 데이터 전처리나 모델 학습 과정에서의 이슈로 인해 발생할 수 있습니다. 주로 다음과 같은 원인들이 있습니다:
데이터 유출: 모델 학습 데이터에 검증 데이터(label)가 섞여 있거나,
train_test_split()을 사용하여 분리한 후에도 레이블이 어떤 방식으로 포함되었는지 확인이 필요합니다. 예를 들어, target 데이터를 분리한 이후에도 일부 데이터가 동일한 열에 남아 있을 수 있습니다.데이터 불균형: 타겟 변수가 불균형하게 분포되어 있는 경우, 모델이 자칫해서 특정 클래스만 예측하면서도 높은 정확도를 보일 수 있습니다. 클래스들이 고루 분포되어 있는지를 재확인해 보세요.
특성 스케일링: 모든 피처가 제대로 스케일링 및 인코딩되지 않았다면, 모델이 특정 피처를 기준으로 학습하는 경우도 있습니다. 피처를 적절히 스케일링했는지 확인해 보세요.
오버피팅: 매우 작은 데이터셋이거나 모델이 너무 학습 데이터에 적합하여 오버피팅이 발생했을 수 있습니다. 이 경우, K-fold 교차검증을 통해 데이터를 더 안정적으로 나눠 평가해 볼 수 있습니다.
유사한 문제를 겪고 계신 분들의 질문과 지식공유자님의 답변을 아래 링크에서 확인할 수 있습니다:
- 작업형2 모의문제 1 질문2: 데이터 관련 문제로 인해 모델의 성능이 과하게 높게 나오는 경우에 대한 해결 방법과 디버깅 과정을 참고할 수 있습니다.
저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.
독립표본검정
0
10
2
tranform을 쓰라는 힌트는 어디서 얻을 수 있나요??
0
13
2
df.describe() 사용을 자제해야할까요?
0
17
2
shape 결과에 대한 문의
0
17
2
자료 문의
0
13
1
8 회귀 11번
0
15
2
심화 강의 관련 질문
0
17
2
빈도수 구하는 것 질문
0
14
2
커리큘럼을 따로 인쇄할 수 있는 방법이 있을까요?
0
25
1
작업형2 머신러닝 문제풀이 중 test 데이터 에러 문의
0
28
2
수강연장가능문의
0
31
2
59. 11회 기출 유형 작업형 1 - 문제2 관련
0
25
2
원핫인코딩 슬라이싱 결과
0
22
2
random_state 값이 궁금합니다!
0
29
2
수강기간 연장 가능 여부 문의드립니다
0
48
2
city 컬럼 삭제
0
32
2
3회 기출(작업형 2) 질문 있습니다!!
0
33
1
2유형 탬플릿에 대한 질문입니다
0
47
1
시험환경 질문 드립니다.
0
38
1
수강기간 연장 가능 여부 문의드립니다
0
58
2
문제2-2에서 유의한 변수에서 음수는 유의한지?
0
45
3
강의 만료 후 오프라인 저장 강의 수강 가능 여부
0
51
2
xgboost에 관해
0
54
2
빅데이터분석기사 작업2형
0
58
2