inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

작업형2 모의문제3

작업형2 모의문제 3

해결된 질문

269

이명주

작성한 질문수 15

0

test와 train데이터가 아닌,

X_test, X_train, y_test, y_train으로 할 때에 검증데이터와 훈련데이터를 어떻게 나누는지가 헷갈립니다ㅠㅠ

훈련값에 id를 포함하지 않고, 타겟값에 y_train을 전체 넣는 건지, 혹은 타겟값에 y_train 중 'output'만 넣어야하는지 궁금합니다..!!!

python 머신러닝 빅데이터 pandas 빅데이터분석기사

답변 1

0

퇴근후딴짓

  1. id가 숫자라면 포함해도 되고 제거해도 됩니다. 포함하더라도 모든 id값이 다르므로 변수(피처)의 중요도를 모델이 낮게 생각해요
    2. 검증데이터를 분리할 때

    • 타겟을 제외한 데이터 train.drop('output', axis=1)

    • 타겟 데이터 train['output']

    를 넣어주면 됩니다.

     

     

    X_tr, X_val, y_tr, y_val = train_test_split(train.drop('output', axis=1), train['output'])

 

코드가 길어서 복잡해 보인다면 아래와 같이 작성할 수도 있어요

X = train.drop('output', axis=1)
y = train['output']

X_tr, X_val, y_tr, y_val = train_test_split(X, y)

 

 

0

이명주

답변 감사합니다!! 그럼 훈련값, 타켓값 모두 id가 포함되어 있어도 상관없는건가요!!?

1

퇴근후딴짓

Train과 test에는 id가 함께 있거나 함께 없거나 하면되고

Target에는 다른값이 있으면 안됩니다 target컬럼만 있어야해요 👏

0

이명주

X_train = X_train.drop('id',axis = 1)

y_train_id = y_train.pop('id')

 

from sklearn.model_selection import train_test_split

X_tr,X_val,y_tr,y_val = train_test_split(X_train,y_train,test_size = 0.2,random_state=2022)

 

from sklearn.ensemble import RandomForestClassifier

model = RandomForestClassifier()

model.fit(X_tr,y_tr)

pred = model.predict(X_val)

 

이렇게 코드를 적었는데 다음과 같은 오류가 떴습니다

<ipython-input-18-22d814881781>:3: DataConversionWarning: A column-vector y was passed when a 1d array was expected. Please change the shape of y to (n_samples,), for example using ravel().

 

어떤 부분을 수정해야 하는지 알 수 있을까요? ㅠㅠㅠ

 

0

퇴근후딴짓

X_tr,X_val,y_tr,y_val = train_test_split(X_train,y_train,test_size = 0.2,random_state=2022)

y_train['타겟 컬럼'] 타겟 컬럼을 지정해주세요:)

출력값 질문

0

12

1

수업노트가 어디에 있나요?

0

21

1

실기시험 제출관련

0

154

2

6.20 작업형 2 과적합

0

158

3

코딩팡 장업형2 베이스 라인 인코딩 종류 질문

0

50

2

로지스틱회귀, 회귀

0

48

2

회귀 문제를 풀때 질문입니다.

0

56

1

불균형 처리 후 성능이 더 낮아졌다면,

0

62

2

실기 체험 제2유형 에러 문의

0

61

1

LIGHTGBM 으로 하면 pred값이 소수점 6자리까지 나오는게 맞나요

0

50

2

3번문제 등분산 가정

0

48

2

작업형3 target 형 변환 질문

0

35

2

[작업형1] 연습문제 섹션1 ~ 10 의 section4

0

36

3

원핫인코딩과 레이블 인코딩에서 concat

0

59

2

제2유형 질문입니다.

0

46

2

C()

0

44

2

작업형 2에서 strafity 적용 유무

0

52

2

수강 기간 연장 가능 여부 문의드립니다.

0

61

1

ols

0

43

2

2유형 작성관련 질문(일반 심화)

0

39

2

2유형 작성관련 질문

0

41

2

2유형 object컬럼 개수 다르면

0

48

2

코딩팡질문이요ㅠㅠ

0

45

2

관찰값과 기대값의 개념이 헷갈립니다.

0

25

2