inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

개수가 불일치 합니다

해결된 질문

316

이태경

작성한 질문수 3

0

안녕하세요. 작업형 2 한가지 방법으로 풀기의 내용으로

예시문제 작업형 2를 푸는데 개수가 맞지 않아서 질문 드립니다..

ValueError: X has 73 features, but DecisionTreeClassifier is expecting 74 features as input.

import pandas as pd

train = pd.read_csv("data/customer_train.csv")
test = pd.read_csv("data/customer_test.csv")

# 사용자 코딩
# print(train.shape, test.shape)
# print(train.head(1), test.head(1))
# print(train['성별'].value_counts())
# print(train.isnull().sum(), test.isnull().sum())
train['환불금액'] = train['환불금액'].fillna(0)
test['환불금액'] = test['환불금액'].fillna(0)

target = train.pop('성별')

print(train.shape, test.shape)
train = pd.get_dummies(train)
test = pd.get_dummies(test)
print(train.shape, test.shape)

from sklearn.model_selection import train_test_split
X_tr, X_val, y_tr, y_val = train_test_split(train, target, test_size=0.2, random_state=0)

print(X_tr.shape, X_val.shape, y_tr.shape, y_val.shape)

from sklearn.ensemble import RandomForestClassifier
rf = RandomForestClassifier(random_state=0)
rf.fit(X_tr, y_tr)
pred = rf.predict_proba(X_val)

from sklearn.metrics import roc_auc_score
roc_auc = roc_auc_score(y_val, pred[:,1])
print('\n roc_auc:', roc_auc)

pred = rf.predict_proba(test)
print(pred[:3])
submit = pd.DataFrame({'pred':pred[:,1]})
submit.to_csv("result.csv", index=False)

python 머신러닝 빅데이터 pandas 빅데이터분석기사

답변 2

0

퇴근후딴짓

네 카테고리가 달라요.

train에 하나 더 많습니다. 레이블인코딩을 하거나 합쳐서 인코딩이 필요해요

 

  • "예시문제 작업형2" 강의영상 참고 부탁드립니다.

  • 인코딩 할 때 에러가 난다면? 영상을 참고해주세요

0

인프런 AI 인턴

안녕하세요, 인프런 AI 인턴입니다. 이태경님의 질문에 답변드리겠습니다.

질문하신 내용과 관련하여 train 데이터와 test 데이터의 컬럼 수가 일치하지 않아 발생하는 문제는 pd.get_dummies() 함수를 사용할 때 종종 발생합니다. 이는 train 데이터와 test 데이터에 같은 카테고리의 변수가 포함되어 있지만, 둘 사이에 존재하는 고유한 값의 차이로 인해 발생합니다. pd.get_dummies() 함수를 실행하면 데이터프레임에 있는 범주형 변수에 대해 원-핫 인코딩을 수행하는데, train 데이터에는 존재하지만 test 데이터에는 존재하지 않는, 또는 그 반대의 경우의 카테고리 때문에 최종적으로 컬럼의 수가 달라지게 됩니다.

해당 문제 해결 방법과 유사한 질문에 대한 답변을 참고하시면 도움이 될 것 같습니다. 특히, 한번에 모델을 학습하기 전에 train 데이터와 test 데이터를 함께 합친 후 원-핫 인코딩을 진행하고, 다시 학습용과 테스트용으로 데이터를 분리하는 방법을 사용할 수 있습니다.

예시문제 작업형 2에 대한 질문과 상당히 유사한 상황에 대한 기존 답변을 추천해드립니다:

  • 예시문제 작업형 2 - 이 답변에서는 train과 test 데이터의 컬럼 수 불일치 문제를 해결하기 위한 접근법에 대해 설명하고 있으며, 위와 같은 문제에 직면했을 때 취해야 할 일반적인 단계를 제안하고 있습니다.

주어진 코드와 문제 상황을 해결하는 데 있어서, pd.get_dummies()를 적용하기 전에 특정 컬럼(범주형 변수)의 데이터 값을 검증하고, 필요한 경우 train과 test 데이터를 합친 후 원-핫 인코딩을 진행하면 문제를 해결할 수 있습니다. 이 후, 다시 데이터를 분리하여 모델 학습에 활용하세요.

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.

현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏

추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.

질문 드립니다.

0

38

2

강의 내용 관련 질문드립니다~

0

34

2

수강 연장 문의

0

33

1

강의자료 일괄 다운로드

0

42

2

수강기간 연장 문의드립니다

0

28

1

list 문제 질문드립니다~

0

30

2

빅분기 실기 12회 재도전

0

40

1

강의 기간 연장 가능여부 검토 요청건

0

30

1

수강기간 연장 문의 드립니다

0

36

2

수강기간 연장 문의드립니다

0

47

2

질문이요

0

51

2

수강기간 연장 문의드립니다.

0

50

2

문제 3-2 질문드립니다

0

44

2

수강기간 연장 문의 드립니다.

0

58

2

변수, 칼럼 , df 구분

0

50

2

수강기간 연장 문의드립니다.

0

50

2

수강기간 연장 문의

0

48

2

수강기간 연장 문의드립니다.

0

42

2

수강기한 연장 문의

0

79

2

수강기간 연장 문의드립니다

0

57

2

결정트리에서 적절한 깊이 선택 후 시각화 과정에서 학습 데이터만 사용하는 이유

0

45

2

수강기간 연장 문의드립니다.

0

71

2

수강연장 문의

0

77

2

수강연장문의

0

53

2