inflearn logo
강의

Khóa học

Chia sẻ kiến thức

[Việc riêng sau giờ tan làm] Kỳ thi thực hành chứng chỉ phân tích dữ liệu lớn (Dạng bài 1, 2, 3)

Dạng đề thi đã ra lần thứ 12 (Dạng bài thực hành 2)

12회 기출 2유형

4

hichoidoit3703

1 câu hỏi đã được viết

0

12회 기출 2유형에서 음수처리관련해서 질문드립니다.
검증용데이터를 분리해서 lightgbm으로도 모델학습 및 예측한 뒤, 음수값이 있다면 clip으로 처리후 test를 넣고 예측한 pred 값을 제출하는것으로 이해했습니다.
데이터가 충분하지만 그래도 전체데이터로 학습을 시키고 싶다면,

lg.fit(train, target)
pred = lg.predict(test)

위 코드처럼 전체데이터를 넣고 학습시킨 후, test데이터로 예측한 후에 음수값이 있는지 또 확인을 하고 음수값이 있다면 clip으로 또 처리한 후 최종제출을 해야하는게 맞는지요?


감사합니다.

++혹시몰라 최종코드도 올렸습니다.

import pandas as pd
train = pd.read_csv("https://raw.githubusercontent.com/lovedlim/inf/main/p4/12/maintenance_train.csv")
test = pd.read_csv("https://raw.githubusercontent.com/lovedlim/inf/main/p4/12/maintenance_test.csv")
#EDA
# print(train.shape, test.shape) #(5000, 26) (2000, 25)
# print(train.head()) #음수값이 많네
# print(train.info()) #결측치 없음, equipment_type 문자형있어서 인코딩 해줘야함
# print(test.info()) #결측치 없음
# print(train.describe())

from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestRegressor
from lightgbm import LGBMRegressor
from sklearn.metrics import root_mean_squared_log_error

#전처리 id값 삭제 및 target분리 및 인코딩
train = train.drop(columns='id')
test = test.drop(columns='id')
print(train.shape, test.shape) #(5000, 25) (2000, 24)
target = train.pop('maintenance_cost')
# print(train['equipment_type'].value_counts())
train = pd.get_dummies(train)
test = pd.get_dummies(test)
print(train.shape, test.shape) #인코딩 후 : (5000, 27) (2000, 27)


# #검증용데이터분리
X_tr, X_val, y_tr, y_val = train_test_split(train, target, test_size = 0.2, random_state=0)
print(X_tr.shape, X_val.shape, y_tr.shape, y_val.shape) #(4000, 24) (1000, 24) (4000,) (1000,)
# #->분리 잘 됨

#모델학습 및 평가(랜덤포레스트로 먼저해보고 안전하게 제출먼저 해두기)
# rf = RandomForestRegressor(random_state=0)
# rf.fit(X_tr, y_tr)
# pred = rf.predict(X_val) #인코딩안했던 오류떠서 인코딩하고 다시 돌렸더니 됨
# print(root_mean_squared_log_error(y_val, pred)) #0.48965673713895946
# # print("음수예측값 개수 : ", (pred<0).sum()) 
# #전체모델학습
# rf.fit(train, target)
# pred = rf.predict(test)

# result = pd.DataFrame({
#     'pred' : pred
# })

# print(result.shape)
# result.to_csv('result.csv', index = False)

#체크하기
# check = pd.read_csv('result.csv')
# print(check.shape)
# print(check.head())
# print(pd.read_csv('result.csv').shape)
# print((result['pred']<0).sum()) #음수값 0개


#모델학습 및 평가(lightgbm으로 해보자)
lg = LGBMRegressor(random_state=0, verbose = -1)
lg.fit(X_tr, y_tr)
pred = lg.predict(X_val)
print("음수예측값 개수 : ", (pred<0).sum()) #음수예측값 개수:6개
#음수값이 나오면 에러가 뜨기때문에 음수처리를 해줘야함
pred = pred.clip(0)
print("음수예측값 개수 : ", (pred<0).sum())

print(root_mean_squared_log_error(y_val, pred)) #0.43439619843150473 랜포보다 약간 성능 좋음, 이걸로 채택!
#전체데이터로 학습 시키고 test데이터로 예측 후 제출
lg.fit(train, target)
pred = lg.predict(test)
print("음수예측값 개수 : ", (pred<0).sum())
pred = pred.clip(0)
print("음수예측값 개수 : ", (pred<0).sum())
result = pd.DataFrame({
    'pred' : pred
})
print(pred.shape)
result.to_csv('result.csv',index=False)


check = pd.read_csv('result.csv')
print(check.shape)
print("음수예측값 개수 : ", (check['pred']<0).sum())


python 머신러닝 빅데이터 pandas 빅데이터분석기사

Câu trả lời 0

로지스틱회귀분석 강의

0

3

1

독립성검정 코드 질문

0

3

1

기출문제 12회 pdf로 주세요

0

6

1

13강좌 Section1. 데이터프레임과 시리즈 실습파일은 어디에서 받나요?

0

8

2

from ~ import 문 사용 시 * 사용 가능여부 문의

0

7

1

12회 작1 2-1

0

13

1

일주일 전 학습방향

0

22

2

roc 코드 질문입니다

0

17

2

섹션12 강의

0

16

1

모의문제3 질문

0

21

2

116. [작업형3] 9. 로지스틱 회귀 문제 질문 있습니다

0

14

2

레이블인코딩 transform 질문

0

21

2

3회 작업형2

0

13

2

문제2

0

15

2

작업형 2 결측치파트

0

19

2

모델 학습 추가 코드

0

22

1

10회 작업형3 1-2

0

21

1

분리

0

24

2

unique

0

23

2

기출7회 작업형 2 회귀 모델

0

18

2

test 데이터 결측치 관련 질의

0

17

2

전체질문) 시험대비 관련 질문

0

29

2

간단한 질문 있습니다

0

26

2

로지스틱 회귀분석, 분산분석 범주형 변수 관련 외 질문

0

28

2