inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

(삭제 예정, 구 버전) 작업형1 모의고사 풀어보기

DATAQ 체험문제 제2유형 관련 질문드립니다

해결된 질문

698

김민지

작성한 질문수 11

0

 

 

# 출력을 원하실 경우 print() 함수 활용
# 예시) print(df.head())

# getcwd(), chdir() 등 작업 폴더 설정 불필요
# 파일 경로 상 내부 드라이브 경로(C: 등) 접근 불가

# 데이터 파일 읽기 예제
import pandas as pd
X_test = pd.read_csv("data/X_test.csv")
X_train = pd.read_csv("data/X_train.csv")
y_train = pd.read_csv("data/y_train.csv")

# 사용자 코딩

X_train=X_train.drop('cust_id',axis=1)
y_train=y_train.drop('cust_id',axis=1)
test_id=X_test.pop('cust_id')

# 1.결측치
X_test['환불금액']=X_test['환불금액'].fillna(0)
X_train['환불금액']=X_train['환불금액'].fillna(0)



# 스케일링
from sklearn.preprocessing import (RobustScaler,MinMaxScaler)
scaler = MinMaxScaler()
cols = X_train.select_dtypes(exclude=object).columns
# print(X_test.head())
X_train[cols]=scaler.fit_transform(X_train[cols])
X_test[cols]=scaler.transform(X_test[cols])
# print(X_train.head())


# 라벨인코딩
from sklearn.preprocessing import LabelEncoder
encoder = LabelEncoder()
# print(X_train.select_dtypes(include=object))
cols = ['주구매상품','주구매지점']
# print('train')
# print(X_train[cols].nunique()) # 주구매상품 42 # 주구매지점 24 로 동일 
# print('test')
# print(X_test[cols].nunique()) # 주구매상품 41
# 합쳐야함
all_data = pd.concat([X_train,X_test])
# print(X_train.shape, X_test.shape, all_data.shape ) # (3500, 10) (2482, 10) (5982, 10) 
# 라벨인코딩 진행함 

# print(all_data[cols].head())
for col in cols:
	all_data[col] = encoder.fit_transform(all_data[col])
# print(all_data[cols].head()) #라벨인코딩 확인완료 
# 다시 나눠야함
X_train = all_data.iloc[:X_train.shape[0],:]
X_test = all_data.iloc[X_train.shape[0]:,:]
# print(X_train.shape, X_test.shape, all_data.shape ) # # (3500, 10) (2482, 10) (5982, 10) # 확인완료 # .iloc 주의할것 

# validation dataset 분리
from sklearn.model_selection import train_test_split
X_tr, X_val, y_tr, y_val = train_test_split(X_train,y_train,random_state=2023,test_size=0.15)
# print(X_tr.shape,X_val.shape,y_tr.shape,y_val.shape) #(2975, 9) (525, 9) (2975, 1) (525, 1)

# 모델링, 평가지표 
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import roc_auc_score

model = RandomForestClassifier(random_state=2023,max_depth=7,n_estimators=400)
model.fit(X_tr,y_tr['gender'])
pred=model.predict_proba(X_val)
print(roc_auc_score(y_val ,pred[:,1])) # 남자일 확률 (0:여자,1:남자)


# 답안 제출 참고
# 아래 코드 예측변수와 수험번호를 개인별로 변경하여 활용
pred=model.predict_proba(X_test)
pd.DataFrame({'custid': test_id, 'gender': pred[:,1]}).to_csv('20230615.csv', index=False)

submit = pd.read_csv('20230615.csv')
print(submit.head())

python 머신러닝 빅데이터 pandas 빅데이터분석기사

답변 1

1

퇴근후딴짓

fit 진행 시
X <- 데이터프레임 형태
y<- 시리즈형태여야 함

y_train.drop의 반환 값은 데이터프레임입니다. 따라서 워닝이 발생했어요

만약 y_train.pop을 사용했다면? pop 을 사용해 1개 컬럼만 적용했다면 시리즈로 반환해요!

화이팅입니다:)

1

김민지

설명 감사합니다 ^^

뒤로가기 버튼 같은 것이 있나요?

0

31

1

강의 연장 문의

0

36

1

출력값 질문

0

33

2

수업노트가 어디에 있나요?

0

33

1

실기시험 제출관련

0

164

2

6.20 작업형 2 과적합

0

171

3

코딩팡 장업형2 베이스 라인 인코딩 종류 질문

0

56

2

로지스틱회귀, 회귀

0

53

2

회귀 문제를 풀때 질문입니다.

0

60

1

불균형 처리 후 성능이 더 낮아졌다면,

0

67

2

실기 체험 제2유형 에러 문의

0

67

1

LIGHTGBM 으로 하면 pred값이 소수점 6자리까지 나오는게 맞나요

0

53

2

3번문제 등분산 가정

0

51

2

작업형3 target 형 변환 질문

0

39

2

[작업형1] 연습문제 섹션1 ~ 10 의 section4

0

41

3

원핫인코딩과 레이블 인코딩에서 concat

0

63

2

제2유형 질문입니다.

0

50

2

C()

0

45

2

작업형 2에서 strafity 적용 유무

0

56

2

수강 기간 연장 가능 여부 문의드립니다.

0

64

1

ols

0

45

2

2유형 작성관련 질문(일반 심화)

0

42

2

2유형 작성관련 질문

0

43

2

2유형 object컬럼 개수 다르면

0

50

2