inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

(삭제 예정, 구 버전) 작업형1 모의고사 풀어보기

DATAQ 체험문제 제2유형 관련 질문드립니다

해결된 질문

693

김민지

작성한 질문수 11

0

 

 

# 출력을 원하실 경우 print() 함수 활용
# 예시) print(df.head())

# getcwd(), chdir() 등 작업 폴더 설정 불필요
# 파일 경로 상 내부 드라이브 경로(C: 등) 접근 불가

# 데이터 파일 읽기 예제
import pandas as pd
X_test = pd.read_csv("data/X_test.csv")
X_train = pd.read_csv("data/X_train.csv")
y_train = pd.read_csv("data/y_train.csv")

# 사용자 코딩

X_train=X_train.drop('cust_id',axis=1)
y_train=y_train.drop('cust_id',axis=1)
test_id=X_test.pop('cust_id')

# 1.결측치
X_test['환불금액']=X_test['환불금액'].fillna(0)
X_train['환불금액']=X_train['환불금액'].fillna(0)



# 스케일링
from sklearn.preprocessing import (RobustScaler,MinMaxScaler)
scaler = MinMaxScaler()
cols = X_train.select_dtypes(exclude=object).columns
# print(X_test.head())
X_train[cols]=scaler.fit_transform(X_train[cols])
X_test[cols]=scaler.transform(X_test[cols])
# print(X_train.head())


# 라벨인코딩
from sklearn.preprocessing import LabelEncoder
encoder = LabelEncoder()
# print(X_train.select_dtypes(include=object))
cols = ['주구매상품','주구매지점']
# print('train')
# print(X_train[cols].nunique()) # 주구매상품 42 # 주구매지점 24 로 동일 
# print('test')
# print(X_test[cols].nunique()) # 주구매상품 41
# 합쳐야함
all_data = pd.concat([X_train,X_test])
# print(X_train.shape, X_test.shape, all_data.shape ) # (3500, 10) (2482, 10) (5982, 10) 
# 라벨인코딩 진행함 

# print(all_data[cols].head())
for col in cols:
	all_data[col] = encoder.fit_transform(all_data[col])
# print(all_data[cols].head()) #라벨인코딩 확인완료 
# 다시 나눠야함
X_train = all_data.iloc[:X_train.shape[0],:]
X_test = all_data.iloc[X_train.shape[0]:,:]
# print(X_train.shape, X_test.shape, all_data.shape ) # # (3500, 10) (2482, 10) (5982, 10) # 확인완료 # .iloc 주의할것 

# validation dataset 분리
from sklearn.model_selection import train_test_split
X_tr, X_val, y_tr, y_val = train_test_split(X_train,y_train,random_state=2023,test_size=0.15)
# print(X_tr.shape,X_val.shape,y_tr.shape,y_val.shape) #(2975, 9) (525, 9) (2975, 1) (525, 1)

# 모델링, 평가지표 
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import roc_auc_score

model = RandomForestClassifier(random_state=2023,max_depth=7,n_estimators=400)
model.fit(X_tr,y_tr['gender'])
pred=model.predict_proba(X_val)
print(roc_auc_score(y_val ,pred[:,1])) # 남자일 확률 (0:여자,1:남자)


# 답안 제출 참고
# 아래 코드 예측변수와 수험번호를 개인별로 변경하여 활용
pred=model.predict_proba(X_test)
pd.DataFrame({'custid': test_id, 'gender': pred[:,1]}).to_csv('20230615.csv', index=False)

submit = pd.read_csv('20230615.csv')
print(submit.head())

python 머신러닝 빅데이터 pandas 빅데이터분석기사

답변 1

1

퇴근후딴짓

fit 진행 시
X <- 데이터프레임 형태
y<- 시리즈형태여야 함

y_train.drop의 반환 값은 데이터프레임입니다. 따라서 워닝이 발생했어요

만약 y_train.pop을 사용했다면? pop 을 사용해 1개 컬럼만 적용했다면 시리즈로 반환해요!

화이팅입니다:)

1

김민지

설명 감사합니다 ^^

이상치 전처리 작업

0

13

2

평가결과값 문의

0

17

2

시계열 데이터 날짜와 시간 format

0

24

2

평가지표 F1 스코어 질문드립니다.

0

21

2

작업형 2 기출7회분에서

0

34

2

작업형2 모의문제1 (30강)

0

30

2

수강 기간 연장 문의 드립니다.

0

40

2

수강 계획과 관련해 문의 드립니다.

0

27

2

작업형1 - 연습문제 16~39 풀이는 몇강을 보면 되나요?

0

49

2

작업형 1 -연습문제 4-6

0

38

2

작업형 1 유형 부분

0

42

2

작업형 1 (삭제예정, 구 버전)

0

51

2

수강기간 연장 문의드립니다.

0

37

2

2유형 레이블 인코딩 VS 원핫 인코딩

0

37

3

수강기간 연장 문의드립니다.

0

44

2

인덱스 슬라이싱

0

36

2

질문 드립니다.

0

50

2

강의 내용 관련 질문드립니다~

0

46

2

수강 연장 문의

0

63

2

강의자료 일괄 다운로드

0

61

2

수강기간 연장 문의드립니다

0

48

2

list 문제 질문드립니다~

0

38

2

빅분기 실기 12회 재도전

0

64

2

강의 기간 연장 가능여부 검토 요청건

0

51

2