inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

작업형2 모의문제2

세션 종료

해결된 질문

198

세린

작성한 질문수 12

0

import pandas as pd

from sklearn.ensemble import RandomForestRegressor

from sklearn.model_selection import train_test_split

from sklearn.metrics import mean_squared_error


df1 = pd.read_csv('/content/drive/MyDrive/bigdata(빅분기 놀이터)/작업형2 모의문제/모의문제 2번/train.csv')


# print(df1.head())

# print(df1.info())

# print(df1.shape)


df2 = pd.read_csv('/content/drive/MyDrive/bigdata(빅분기 놀이터)/작업형2 모의문제/모의문제 2번/test.csv')


# print(df2.head())

# print(df2.info())

# print(df2.shape)


df1['name'] = df1['name'].fillna(df1['name'].mode()[0])

df1['host_name'] = df1['host_name'].fillna(df1['name'].mode()[0])

df1['last_review'] = df1['last_review'].fillna(df1['name'].mode()[0])

df1['reviews_per_month'] = df1['reviews_per_month'].fillna(df1['reviews_per_month'].median())


df2['name'] = df2['name'].fillna(df2['name'].mode()[0])

df2['host_name'] = df2['host_name'].fillna(df2['name'].mode()[0])

df2['last_review'] = df2['last_review'].fillna(df2['name'].mode()[0])

df2['reviews_per_month'] = df2['reviews_per_month'].fillna(df2['reviews_per_month'].median())


x = df1.drop('price', axis=1)

y = df1['price']


x_encoded = pd.get_dummies(x)


x_train, x_valid, y_train, y_valid = train_test_split(x_encoded.drop('id', axis=1), y, test_size=0.25)


md = RandomForestRegressor(n_estimators=300)

md.fit(x_train, y_train)


pred = md.predict(x_valid)


print(mean_squared_error(y_valid, pred)) # MSE

print(mean_squared_error(y_valid, pred, squared=False)) # RMSE


x_test = df2

x_test_encoded = pd.get_dummies(x_test)


md = RandomForestRegressor(n_estimators=300)

md.fit(x_encoded.drop('id', axis=1), y)


pred = md.predict_proba(x_test_encoded.drop('id', axis=1))


print(pred)

print(pred.shape)


result = pd.DataFrame({'id' : df2['id'], 'price' : pred })


result.to_csv('작업형2 모의문제 2번.csv', index=False)

python 머신러닝 빅데이터 pandas 빅데이터분석기사

답변 1

0

퇴근후딴짓

회귀인데 predict_proba는 잘못된 방법입니다.

0

세린

코드를 수정했는데,

애초에

md.fit(x_train, y_train)

이 부분에서 계속 실행되다가 세션이 다운됩니다. 도대체 왜 이런 걸까요 ㅠㅠ

0

퇴근후딴짓

x_encoded = pd.get_dummies(x)

이 작업 이후 shape을 확인해보셨을까요?

너무 데이터가 커지면 램초과로 세션이 종료됩니다.

범주형데이터 카테고리가 많다면 라벨인코딩 추천합니다.

작업형 1번문제... 환경관련

0

8

1

12회 기출은 언제 업데이트 될까요??

0

8

1

8/6 작성한 연장문의 질문글에 대한 재요청

0

19

1

수강기간 연장 문의

0

24

1

수강기간 연장문의

0

23

1

수강기간 연장 요청 문의드립니다

0

28

1

수강 기간 연장 문의

0

35

1

수강연장 가능 문의 (기간 약 한달반)

0

53

2

수강기간 연장 가능할까요 선생님

0

70

2

Section15. 수업에 사용하는 데이터 주소가 다 보이지 않아서 실습을 위한 데이터를 다운 받지 못하고 있습니다.

0

47

3

수강연장요청 문의

0

83

2

아무래도 다음 시험 연장은 어렵겠죠?

0

103

2

빅분기 12회 결과 관련 문의

0

106

1

책이랑 강의랑 순서나 예제가 다른것 같네요

0

78

2

수강연장 문의

0

102

2

재검토 요청 방법 좀 알려주셔요...-.-;;

0

100

2

12회 실기 질문(작업형 2)

0

88

2

뒤로가기 버튼 같은 것이 있나요?

0

61

1

강의 연장 문의

0

97

2

출력값 질문

0

69

2

수업노트가 어디에 있나요?

0

59

1

실기시험 제출관련

0

222

3

6.20 작업형 2 과적합

0

227

3

코딩팡 장업형2 베이스 라인 인코딩 종류 질문

0

86

2