12회 기출 2유형
4
작성한 질문수 1
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요!
질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요
먼저 유사한 질문이 있었는지 검색해보세요
12회 기출 2유형에서 음수처리관련해서 질문드립니다.
검증용데이터를 분리해서 lightgbm으로도 모델학습 및 예측한 뒤, 음수값이 있다면 clip으로 처리후 test를 넣고 예측한 pred 값을 제출하는것으로 이해했습니다.
데이터가 충분하지만 그래도 전체데이터로 학습을 시키고 싶다면,
lg.fit(train, target)
pred = lg.predict(test)위 코드처럼 전체데이터를 넣고 학습시킨 후, test데이터로 예측한 후에 음수값이 있는지 또 확인을 하고 음수값이 있다면 clip으로 또 처리한 후 최종제출을 해야하는게 맞는지요?
감사합니다.
++혹시몰라 최종코드도 올렸습니다.
import pandas as pd
train = pd.read_csv("https://raw.githubusercontent.com/lovedlim/inf/main/p4/12/maintenance_train.csv")
test = pd.read_csv("https://raw.githubusercontent.com/lovedlim/inf/main/p4/12/maintenance_test.csv")
#EDA
# print(train.shape, test.shape) #(5000, 26) (2000, 25)
# print(train.head()) #음수값이 많네
# print(train.info()) #결측치 없음, equipment_type 문자형있어서 인코딩 해줘야함
# print(test.info()) #결측치 없음
# print(train.describe())
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestRegressor
from lightgbm import LGBMRegressor
from sklearn.metrics import root_mean_squared_log_error
#전처리 id값 삭제 및 target분리 및 인코딩
train = train.drop(columns='id')
test = test.drop(columns='id')
print(train.shape, test.shape) #(5000, 25) (2000, 24)
target = train.pop('maintenance_cost')
# print(train['equipment_type'].value_counts())
train = pd.get_dummies(train)
test = pd.get_dummies(test)
print(train.shape, test.shape) #인코딩 후 : (5000, 27) (2000, 27)
# #검증용데이터분리
X_tr, X_val, y_tr, y_val = train_test_split(train, target, test_size = 0.2, random_state=0)
print(X_tr.shape, X_val.shape, y_tr.shape, y_val.shape) #(4000, 24) (1000, 24) (4000,) (1000,)
# #->분리 잘 됨
#모델학습 및 평가(랜덤포레스트로 먼저해보고 안전하게 제출먼저 해두기)
# rf = RandomForestRegressor(random_state=0)
# rf.fit(X_tr, y_tr)
# pred = rf.predict(X_val) #인코딩안했던 오류떠서 인코딩하고 다시 돌렸더니 됨
# print(root_mean_squared_log_error(y_val, pred)) #0.48965673713895946
# # print("음수예측값 개수 : ", (pred<0).sum())
# #전체모델학습
# rf.fit(train, target)
# pred = rf.predict(test)
# result = pd.DataFrame({
# 'pred' : pred
# })
# print(result.shape)
# result.to_csv('result.csv', index = False)
#체크하기
# check = pd.read_csv('result.csv')
# print(check.shape)
# print(check.head())
# print(pd.read_csv('result.csv').shape)
# print((result['pred']<0).sum()) #음수값 0개
#모델학습 및 평가(lightgbm으로 해보자)
lg = LGBMRegressor(random_state=0, verbose = -1)
lg.fit(X_tr, y_tr)
pred = lg.predict(X_val)
print("음수예측값 개수 : ", (pred<0).sum()) #음수예측값 개수:6개
#음수값이 나오면 에러가 뜨기때문에 음수처리를 해줘야함
pred = pred.clip(0)
print("음수예측값 개수 : ", (pred<0).sum())
print(root_mean_squared_log_error(y_val, pred)) #0.43439619843150473 랜포보다 약간 성능 좋음, 이걸로 채택!
#전체데이터로 학습 시키고 test데이터로 예측 후 제출
lg.fit(train, target)
pred = lg.predict(test)
print("음수예측값 개수 : ", (pred<0).sum())
pred = pred.clip(0)
print("음수예측값 개수 : ", (pred<0).sum())
result = pd.DataFrame({
'pred' : pred
})
print(pred.shape)
result.to_csv('result.csv',index=False)
check = pd.read_csv('result.csv')
print(check.shape)
print("음수예측값 개수 : ", (check['pred']<0).sum())답변 0
로지스틱회귀분석 강의
0
3
1
독립성검정 코드 질문
0
3
1
기출문제 12회 pdf로 주세요
0
6
1
13강좌 Section1. 데이터프레임과 시리즈 실습파일은 어디에서 받나요?
0
8
2
from ~ import 문 사용 시 * 사용 가능여부 문의
0
7
1
12회 작1 2-1
0
13
1
일주일 전 학습방향
0
22
2
roc 코드 질문입니다
0
17
2
섹션12 강의
0
16
1
모의문제3 질문
0
21
2
116. [작업형3] 9. 로지스틱 회귀 문제 질문 있습니다
0
14
2
레이블인코딩 transform 질문
0
21
2
3회 작업형2
0
13
2
문제2
0
15
2
작업형 2 결측치파트
0
19
2
모델 학습 추가 코드
0
22
1
10회 작업형3 1-2
0
21
1
분리
0
24
2
unique
0
23
2
기출7회 작업형 2 회귀 모델
0
18
2
test 데이터 결측치 관련 질의
0
17
2
전체질문) 시험대비 관련 질문
0
29
2
간단한 질문 있습니다
0
26
2
로지스틱 회귀분석, 분산분석 범주형 변수 관련 외 질문
0
28
2





