inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

작업형2 모의문제2

세션 종료

해결된 질문

188

세린

작성한 질문수 12

0

import pandas as pd

from sklearn.ensemble import RandomForestRegressor

from sklearn.model_selection import train_test_split

from sklearn.metrics import mean_squared_error


df1 = pd.read_csv('/content/drive/MyDrive/bigdata(빅분기 놀이터)/작업형2 모의문제/모의문제 2번/train.csv')


# print(df1.head())

# print(df1.info())

# print(df1.shape)


df2 = pd.read_csv('/content/drive/MyDrive/bigdata(빅분기 놀이터)/작업형2 모의문제/모의문제 2번/test.csv')


# print(df2.head())

# print(df2.info())

# print(df2.shape)


df1['name'] = df1['name'].fillna(df1['name'].mode()[0])

df1['host_name'] = df1['host_name'].fillna(df1['name'].mode()[0])

df1['last_review'] = df1['last_review'].fillna(df1['name'].mode()[0])

df1['reviews_per_month'] = df1['reviews_per_month'].fillna(df1['reviews_per_month'].median())


df2['name'] = df2['name'].fillna(df2['name'].mode()[0])

df2['host_name'] = df2['host_name'].fillna(df2['name'].mode()[0])

df2['last_review'] = df2['last_review'].fillna(df2['name'].mode()[0])

df2['reviews_per_month'] = df2['reviews_per_month'].fillna(df2['reviews_per_month'].median())


x = df1.drop('price', axis=1)

y = df1['price']


x_encoded = pd.get_dummies(x)


x_train, x_valid, y_train, y_valid = train_test_split(x_encoded.drop('id', axis=1), y, test_size=0.25)


md = RandomForestRegressor(n_estimators=300)

md.fit(x_train, y_train)


pred = md.predict(x_valid)


print(mean_squared_error(y_valid, pred)) # MSE

print(mean_squared_error(y_valid, pred, squared=False)) # RMSE


x_test = df2

x_test_encoded = pd.get_dummies(x_test)


md = RandomForestRegressor(n_estimators=300)

md.fit(x_encoded.drop('id', axis=1), y)


pred = md.predict_proba(x_test_encoded.drop('id', axis=1))


print(pred)

print(pred.shape)


result = pd.DataFrame({'id' : df2['id'], 'price' : pred })


result.to_csv('작업형2 모의문제 2번.csv', index=False)

python 머신러닝 빅데이터 pandas 빅데이터분석기사

답변 1

0

퇴근후딴짓

회귀인데 predict_proba는 잘못된 방법입니다.

0

세린

코드를 수정했는데,

애초에

md.fit(x_train, y_train)

이 부분에서 계속 실행되다가 세션이 다운됩니다. 도대체 왜 이런 걸까요 ㅠㅠ

0

퇴근후딴짓

x_encoded = pd.get_dummies(x)

이 작업 이후 shape을 확인해보셨을까요?

너무 데이터가 커지면 램초과로 세션이 종료됩니다.

범주형데이터 카테고리가 많다면 라벨인코딩 추천합니다.

1유형 강의 다 나간 후 어떻게 할까요?

0

13

1

점수차가 많이 나는데 따로 하신게 있으신가요?

0

9

1

작업형1 모의문제 4번에 3)문제 질문

0

19

2

이상치 전처리 작업

0

25

2

평가결과값 문의

0

28

2

시계열 데이터 날짜와 시간 format

0

34

2

평가지표 F1 스코어 질문드립니다.

0

27

2

작업형 2 기출7회분에서

0

38

2

작업형2 모의문제1 (30강)

0

34

2

수강 기간 연장 문의 드립니다.

0

41

2

수강 계획과 관련해 문의 드립니다.

0

30

2

작업형1 - 연습문제 16~39 풀이는 몇강을 보면 되나요?

0

50

2

작업형 1 -연습문제 4-6

0

38

2

작업형 1 유형 부분

0

42

2

작업형 1 (삭제예정, 구 버전)

0

51

2

수강기간 연장 문의드립니다.

0

38

2

2유형 레이블 인코딩 VS 원핫 인코딩

0

37

3

수강기간 연장 문의드립니다.

0

44

2

인덱스 슬라이싱

0

37

2

질문 드립니다.

0

50

2

강의 내용 관련 질문드립니다~

0

46

2

수강 연장 문의

0

63

2

강의자료 일괄 다운로드

0

62

2

수강기간 연장 문의드립니다

0

48

2