inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

개수가 불일치 합니다

해결된 질문

322

이태경

작성한 질문수 3

0

안녕하세요. 작업형 2 한가지 방법으로 풀기의 내용으로

예시문제 작업형 2를 푸는데 개수가 맞지 않아서 질문 드립니다..

ValueError: X has 73 features, but DecisionTreeClassifier is expecting 74 features as input.

import pandas as pd

train = pd.read_csv("data/customer_train.csv")
test = pd.read_csv("data/customer_test.csv")

# 사용자 코딩
# print(train.shape, test.shape)
# print(train.head(1), test.head(1))
# print(train['성별'].value_counts())
# print(train.isnull().sum(), test.isnull().sum())
train['환불금액'] = train['환불금액'].fillna(0)
test['환불금액'] = test['환불금액'].fillna(0)

target = train.pop('성별')

print(train.shape, test.shape)
train = pd.get_dummies(train)
test = pd.get_dummies(test)
print(train.shape, test.shape)

from sklearn.model_selection import train_test_split
X_tr, X_val, y_tr, y_val = train_test_split(train, target, test_size=0.2, random_state=0)

print(X_tr.shape, X_val.shape, y_tr.shape, y_val.shape)

from sklearn.ensemble import RandomForestClassifier
rf = RandomForestClassifier(random_state=0)
rf.fit(X_tr, y_tr)
pred = rf.predict_proba(X_val)

from sklearn.metrics import roc_auc_score
roc_auc = roc_auc_score(y_val, pred[:,1])
print('\n roc_auc:', roc_auc)

pred = rf.predict_proba(test)
print(pred[:3])
submit = pd.DataFrame({'pred':pred[:,1]})
submit.to_csv("result.csv", index=False)

python 머신러닝 빅데이터 pandas 빅데이터분석기사

답변 2

0

퇴근후딴짓

네 카테고리가 달라요.

train에 하나 더 많습니다. 레이블인코딩을 하거나 합쳐서 인코딩이 필요해요

 

  • "예시문제 작업형2" 강의영상 참고 부탁드립니다.

  • 인코딩 할 때 에러가 난다면? 영상을 참고해주세요

0

인프런 AI 인턴

안녕하세요, 인프런 AI 인턴입니다. 이태경님의 질문에 답변드리겠습니다.

질문하신 내용과 관련하여 train 데이터와 test 데이터의 컬럼 수가 일치하지 않아 발생하는 문제는 pd.get_dummies() 함수를 사용할 때 종종 발생합니다. 이는 train 데이터와 test 데이터에 같은 카테고리의 변수가 포함되어 있지만, 둘 사이에 존재하는 고유한 값의 차이로 인해 발생합니다. pd.get_dummies() 함수를 실행하면 데이터프레임에 있는 범주형 변수에 대해 원-핫 인코딩을 수행하는데, train 데이터에는 존재하지만 test 데이터에는 존재하지 않는, 또는 그 반대의 경우의 카테고리 때문에 최종적으로 컬럼의 수가 달라지게 됩니다.

해당 문제 해결 방법과 유사한 질문에 대한 답변을 참고하시면 도움이 될 것 같습니다. 특히, 한번에 모델을 학습하기 전에 train 데이터와 test 데이터를 함께 합친 후 원-핫 인코딩을 진행하고, 다시 학습용과 테스트용으로 데이터를 분리하는 방법을 사용할 수 있습니다.

예시문제 작업형 2에 대한 질문과 상당히 유사한 상황에 대한 기존 답변을 추천해드립니다:

  • 예시문제 작업형 2 - 이 답변에서는 train과 test 데이터의 컬럼 수 불일치 문제를 해결하기 위한 접근법에 대해 설명하고 있으며, 위와 같은 문제에 직면했을 때 취해야 할 일반적인 단계를 제안하고 있습니다.

주어진 코드와 문제 상황을 해결하는 데 있어서, pd.get_dummies()를 적용하기 전에 특정 컬럼(범주형 변수)의 데이터 값을 검증하고, 필요한 경우 train과 test 데이터를 합친 후 원-핫 인코딩을 진행하면 문제를 해결할 수 있습니다. 이 후, 다시 데이터를 분리하여 모델 학습에 활용하세요.

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.

현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏

추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.

원핫인코딩과 레이블 인코딩에서 concat

0

16

2

제2유형 질문입니다.

0

24

2

C()

0

22

2

작업형 2에서 strafity 적용 유무

0

27

2

수강 기간 연장 가능 여부 문의드립니다.

0

22

1

ols

0

25

2

2유형 작성관련 질문(일반 심화)

0

22

2

2유형 작성관련 질문

0

19

2

2유형 object컬럼 개수 다르면

0

24

2

코딩팡질문이요ㅠㅠ

0

23

2

관찰값과 기대값의 개념이 헷갈립니다.

0

13

2

작업형2 ID 컬럼 삭제 질문

0

23

2

2유형 작성관련 질문

0

21

2

memoryerror 질문

0

18

2

작업형 유형2 이렇게 고정 템플릿으로 가져가도 될까요?

0

23

1

ID 삭제 필수 인가요?

0

19

3

7회 기출문제 작업형1번 df 변환 후 저장되는 방식 질문

0

20

2

3 유형 귀무가설, 대립가설

0

22

2

인코딩 관련 질문 있습니다

0

26

2

작업형3 이원분산분석 sm에서불러오기 / anova_lm 차이

0

31

2

2유형 원핫인코딩 오류

0

24

2

시험장에서 주석 단축키 안될 때 많나요?

0

29

2

라벨인코딩 방식

0

30

2

test 재학습 관련

0

19

2