inflearn logo
강의

講義

知識共有

【退勤後の寄り道】ビッグデータ分析技師(※韓国の国家資格)実技(作業型1、2、3)

第12回 過去問形式(実技問題2)

12회 기출 2유형

4

hichoidoit3703

投稿した質問数 1

0

12회 기출 2유형에서 음수처리관련해서 질문드립니다.
검증용데이터를 분리해서 lightgbm으로도 모델학습 및 예측한 뒤, 음수값이 있다면 clip으로 처리후 test를 넣고 예측한 pred 값을 제출하는것으로 이해했습니다.
데이터가 충분하지만 그래도 전체데이터로 학습을 시키고 싶다면,

lg.fit(train, target)
pred = lg.predict(test)

위 코드처럼 전체데이터를 넣고 학습시킨 후, test데이터로 예측한 후에 음수값이 있는지 또 확인을 하고 음수값이 있다면 clip으로 또 처리한 후 최종제출을 해야하는게 맞는지요?


감사합니다.

++혹시몰라 최종코드도 올렸습니다.

import pandas as pd
train = pd.read_csv("https://raw.githubusercontent.com/lovedlim/inf/main/p4/12/maintenance_train.csv")
test = pd.read_csv("https://raw.githubusercontent.com/lovedlim/inf/main/p4/12/maintenance_test.csv")
#EDA
# print(train.shape, test.shape) #(5000, 26) (2000, 25)
# print(train.head()) #음수값이 많네
# print(train.info()) #결측치 없음, equipment_type 문자형있어서 인코딩 해줘야함
# print(test.info()) #결측치 없음
# print(train.describe())

from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestRegressor
from lightgbm import LGBMRegressor
from sklearn.metrics import root_mean_squared_log_error

#전처리 id값 삭제 및 target분리 및 인코딩
train = train.drop(columns='id')
test = test.drop(columns='id')
print(train.shape, test.shape) #(5000, 25) (2000, 24)
target = train.pop('maintenance_cost')
# print(train['equipment_type'].value_counts())
train = pd.get_dummies(train)
test = pd.get_dummies(test)
print(train.shape, test.shape) #인코딩 후 : (5000, 27) (2000, 27)


# #검증용데이터분리
X_tr, X_val, y_tr, y_val = train_test_split(train, target, test_size = 0.2, random_state=0)
print(X_tr.shape, X_val.shape, y_tr.shape, y_val.shape) #(4000, 24) (1000, 24) (4000,) (1000,)
# #->분리 잘 됨

#모델학습 및 평가(랜덤포레스트로 먼저해보고 안전하게 제출먼저 해두기)
# rf = RandomForestRegressor(random_state=0)
# rf.fit(X_tr, y_tr)
# pred = rf.predict(X_val) #인코딩안했던 오류떠서 인코딩하고 다시 돌렸더니 됨
# print(root_mean_squared_log_error(y_val, pred)) #0.48965673713895946
# # print("음수예측값 개수 : ", (pred<0).sum()) 
# #전체모델학습
# rf.fit(train, target)
# pred = rf.predict(test)

# result = pd.DataFrame({
#     'pred' : pred
# })

# print(result.shape)
# result.to_csv('result.csv', index = False)

#체크하기
# check = pd.read_csv('result.csv')
# print(check.shape)
# print(check.head())
# print(pd.read_csv('result.csv').shape)
# print((result['pred']<0).sum()) #음수값 0개


#모델학습 및 평가(lightgbm으로 해보자)
lg = LGBMRegressor(random_state=0, verbose = -1)
lg.fit(X_tr, y_tr)
pred = lg.predict(X_val)
print("음수예측값 개수 : ", (pred<0).sum()) #음수예측값 개수:6개
#음수값이 나오면 에러가 뜨기때문에 음수처리를 해줘야함
pred = pred.clip(0)
print("음수예측값 개수 : ", (pred<0).sum())

print(root_mean_squared_log_error(y_val, pred)) #0.43439619843150473 랜포보다 약간 성능 좋음, 이걸로 채택!
#전체데이터로 학습 시키고 test데이터로 예측 후 제출
lg.fit(train, target)
pred = lg.predict(test)
print("음수예측값 개수 : ", (pred<0).sum())
pred = pred.clip(0)
print("음수예측값 개수 : ", (pred<0).sum())
result = pd.DataFrame({
    'pred' : pred
})
print(pred.shape)
result.to_csv('result.csv',index=False)


check = pd.read_csv('result.csv')
print(check.shape)
print("음수예측값 개수 : ", (check['pred']<0).sum())


python 머신러닝 빅데이터 pandas 빅데이터분석기사

回答 0

로지스틱회귀분석 강의

0

3

1

독립성검정 코드 질문

0

3

1

기출문제 12회 pdf로 주세요

0

6

1

13강좌 Section1. 데이터프레임과 시리즈 실습파일은 어디에서 받나요?

0

8

2

from ~ import 문 사용 시 * 사용 가능여부 문의

0

7

1

12회 작1 2-1

0

13

1

일주일 전 학습방향

0

22

2

roc 코드 질문입니다

0

17

2

섹션12 강의

0

16

1

모의문제3 질문

0

21

2

116. [작업형3] 9. 로지스틱 회귀 문제 질문 있습니다

0

14

2

레이블인코딩 transform 질문

0

21

2

3회 작업형2

0

13

2

문제2

0

15

2

작업형 2 결측치파트

0

19

2

모델 학습 추가 코드

0

22

1

10회 작업형3 1-2

0

21

1

분리

0

24

2

unique

0

23

2

기출7회 작업형 2 회귀 모델

0

18

2

test 데이터 결측치 관련 질의

0

17

2

전체질문) 시험대비 관련 질문

0

29

2

간단한 질문 있습니다

0

26

2

로지스틱 회귀분석, 분산분석 범주형 변수 관련 외 질문

0

28

2