inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

y_test

해결된 질문

273

sychang2000

작성한 질문수 15

1

# 데이터 및 라이브러리 로드하기 
import pandas as pd

train = pd.read_csv('/content/train.csv')
test = pd.read_csv('/content/test.csv')

Train = train.copy()
X_train = Train.drop(['Attrition_Flag','CLIENTNUM'],axis=1)
y_train = Train['Attrition_Flag']
X_test = test.copy()
X_test_CL = X_test.pop('CLIENTNUM')
# print(X_train.head())
# print(y_train.head())
# print(X_test.head())

# EDA

# print(X_train.shape, X_test.shape, y_train.shape)

# print(X_train.isnull().sum())
# print(X_test.isnull().sum())

# print(X_train.describe())
# print(X_test.describe())
# print(X_train.describe(include = object))
# print(X_test.describe(include = object))

# print(y_train.value_counts())

# 데이터 전처리 - 결측치 없음, 이상치 없음

# 피처 엔지니어링
cols1 = list(X_train.columns[X_train.dtypes == object]) # 범주형
cols2 = list(X_train.columns[X_train.dtypes != object]) # 수치형
# print(cols2, X_train.info())

Xc_train = X_train[cols1] # 범주형
Xc_test = X_test[cols1]
Xn_train = X_train[cols2] # 수치형
Xn_test = X_test[cols2]

Xc_train = pd.get_dummies(X_train[cols1]) # 범주형 데이터 원핫인코딩
Xc_test = pd.get_dummies(X_test[cols1])

from sklearn.preprocessing import RobustScaler
Ro = RobustScaler()
X_train[cols2] = Ro.fit_transform(X_train[cols2])
X_test[cols2] = Ro.transform(X_test[cols2])

Xn_train = X_train[cols2] # 수치형
Xn_test = X_test[cols2]

X_train = pd.concat([Xc_train, Xn_train], axis = 1)
X_test= pd.concat([Xc_test, Xn_test], axis = 1)

# print(X_train.head())
# print(X_test.head())

# 데이터 분리
from sklearn.model_selection import train_test_split

X_tr, X_val, y_tr, y_val = train_test_split(X_train, y_train, test_size = 0.15, random_state=2023)
# print(X_tr.shape, X_val.shape, y_tr.shape, y_val.shape)

# 모델링
import lightgbm as lgb
lg = lgb.LGBMClassifier(random_state=2023)
lg.fit(X_tr, y_tr)
predict = lg.predict(X_val)
predictproba = lg.predict_proba(X_val)

# 평가 및 제출
# ROC-AUC, 정확도(Accuracy), F1, 정밀도(Precision), 재현율(Recall)
from sklearn.metrics import roc_auc_score, accuracy_score, f1_score, precision_score, recall_score

# print(roc_auc_score(y_val, predictproba[:,1]))
# print(accuracy_score(y_val, predict))
# print(f1_score(y_val, predict))
# print(precision_score(y_val, predict))
# print(recall_score(y_val, predict))

predictproba_final = lg.predict_proba(X_test)

submit = pd.DataFrame(
    {
        'CLIENTNUM':X_test_CL,
        'Attrition_Flag':predictproba_final[:,1]
    }
)

# submit.head()

submit.to_csv('1.csv', index = False)

# 제출 제대로 했나 확인
pd.read_csv('1.csv')

#
y_test = pd.read_csv('/content/y_test.csv')
print(roc_auc_score(y_test, predictproba_final[:,1]))

print(roc_auc_score(y_test, predictproba_final[:,1]))만 되고 print(roc_auc_score(y_test, predictproba[:,1]))는 안되는게 정상인가요?

 

python 머신러닝 빅데이터 pandas 빅데이터분석기사

답변 1

1

퇴근후딴짓

네 맞습니다.Xval은 yval로 평가를 비교해야 합니다 ;)

print(roc_auc_score(y_val, predictproba[:,1]))

시험에서는 ytest값은 제공하지 않으니 착오없으시길 바래요 💪💪

 

수업노트가 어디에 있나요?

0

5

1

실기시험 제출관련

0

137

2

6.20 작업형 2 과적합

0

146

3

코딩팡 장업형2 베이스 라인 인코딩 종류 질문

0

46

2

로지스틱회귀, 회귀

0

47

2

회귀 문제를 풀때 질문입니다.

0

53

1

불균형 처리 후 성능이 더 낮아졌다면,

0

61

2

실기 체험 제2유형 에러 문의

0

60

1

LIGHTGBM 으로 하면 pred값이 소수점 6자리까지 나오는게 맞나요

0

47

2

3번문제 등분산 가정

0

46

2

작업형3 target 형 변환 질문

0

34

2

[작업형1] 연습문제 섹션1 ~ 10 의 section4

0

36

3

원핫인코딩과 레이블 인코딩에서 concat

0

57

2

제2유형 질문입니다.

0

46

2

C()

0

44

2

작업형 2에서 strafity 적용 유무

0

50

2

수강 기간 연장 가능 여부 문의드립니다.

0

58

1

ols

0

43

2

2유형 작성관련 질문(일반 심화)

0

39

2

2유형 작성관련 질문

0

39

2

2유형 object컬럼 개수 다르면

0

48

2

코딩팡질문이요ㅠㅠ

0

45

2

관찰값과 기대값의 개념이 헷갈립니다.

0

25

2

작업형2 ID 컬럼 삭제 질문

0

45

2