작업형 2 템플릿 확인 요청

안녕하세요

전체적으로 이런 식으로 작업형 2를 풀어왔는데,

시험 전 마지막으로 올바른 코드인지 점검 부탁 드리고 싶습니다.

EDA -> target값 분리 -> 스케일링 -> 인코딩 -> 데이터 분리

-> 머신러닝 -> 평가 -> 테스트 예측 순서로 풀어왔는데,

AI한테 질문하니

카테고리가 안맞아 train, test를 불가피하게 합쳐서 풀어야 할 땐, 인코딩을 먼저 하라는 말에 혼란스러워 질문 드립니다.

import pandas as pd

train = pd.read_csv("data/customer_train.csv")
test = pd.read_csv("data/customer_test.csv")


# 평가: RMSE (회귀)
# target: 총구매액 (2482개의 행)
# 결측값: 환불금액
# object 컬럼: 주구매상품, 주구매지점 (2개) / num 컬럼: 그외 (7+1개)

pd.set_option('display.max_columns', None)
print(train.shape, test.shape)
# print(train.info())
# print(test.info())
# print(train.head())
# print(test.head())
# print(train.describe(include ='O'))
# print(test.describe(include = 'O'))

# 카테고리 확인 (주구매 불일치 -> 합쳐서 인코딩)
o_cols = train.select_dtypes(include = 'O').columns
# for col in o_cols:
# 	if (set(train[col]) == set(test[col])):
# 		print(col, '카테고리 일치')
# 	else:
# 		print(col, '카테고리 불일치')

# 결측치 채우기
train['환불금액'] = train['환불금액'].fillna(0)
test['환불금액'] = test['환불금액'].fillna(0)
# print(train.isnull().sum().sum())
# print(test.isnull().sum().sum())

# id, target 분리
train_id = train.pop('회원ID')
test_id = test.pop('회원ID')
target = train.pop('총구매액')
print(train.shape, test.shape)
print(target.describe())


# 스케일링
n_cols = train.select_dtypes(exclude = 'O').columns
# print(n_cols)
# print(train.head())
from sklearn.preprocessing import MinMaxScaler
scaler = MinMaxScaler()
train[n_cols] = scaler.fit_transform(train[n_cols])
test[n_cols] = scaler.transform(test[n_cols])
# print(train.head())


# 인코딩
# 데이터 합치기
combined = pd.concat([train, test])
# 원핫
# combined = pd.get_dummies(combined)
# train = combined[:len(train)]
# test = combined[len(train):]
# print(train.shape, test.shape)

# 라벨인코더
from sklearn.preprocessing import LabelEncoder
o_cols = train.select_dtypes(include = 'O').columns
for col in o_cols:
	le = LabelEncoder()
	combined[col] = le.fit_transform(combined[col])
train = combined[:len(train)]
test = combined[len(train):]
print(train.shape, test.shape)


# 데이터 분리
from sklearn.model_selection import train_test_split
X_tr, X_val, y_tr, y_val = train_test_split(train, target, test_size = 0.2, random_state = 0)
print(X_tr.shape, X_val.shape, y_tr.shape, y_val.shape)

# 머신러닝
# 랜포
# from sklearn.ensemble import RandomForestRegressor
# rf = RandomForestRegressor(random_state = 0)
# rf.fit(X_tr, y_tr)
# pred = rf.predict(X_val)

# lightgbm
import lightgbm as lgb
model = lgb.LGBMRegressor(random_state = 0, verbose = -1)
model.fit(X_tr, y_tr)
pred = model.predict(X_val)


# 평가
from sklearn.metrics import root_mean_squared_error
rmse = root_mean_squared_error(y_val, pred)
print(rmse)

# 813.2017203251257 (원핫, 랜포)
# 808.845167469651 (라벨, 랜포)
# 779.7626410741833 (라벨, lgb) - 채택
# 779.7626410741833 (원핫, lgb) 


# 테스트 예측 (전체 train으로 학습)
model.fit(train, target)
pred = model.predict(test)
submit = pd.DataFrame({'pred': pred})
submit.to_csv('result.csv', index = False)
print(pd.read_csv('result.csv').head())
print(pd.read_csv('result.csv').shape)