inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

작업형2 정리한 내용 확인 부탁드립니다 ㅜㅜ

42

김휘

작성한 질문수 1

0

###데이터전처리

(범주형 데이터 수 많은데 카테고리 다를 때 삭제, 비행기 문제 생각)

train = train.drop(‘컬럼명’, axis=1)

test = test.drop(‘컬럼명’, axis=1)

결측치 채우기 (범주형)

cond_o = ['범주형컬럼명1',‘컬럼명2’...]

train[cond_o]=train[cond_o].fillna("X")

test[cond_o]=test[cond_o].fillna("X")

결측치 채우기 (수치형, 0/중앙값/최소값/평균 등 데이터에 맞게)

cond_f = ['컬럼명1‘,’컬럼명2'...]

train[cond_f]=train[cond_f].fillna(0)

test[cond_f]=test[cond_f].fillna(0)

target = train.pop(‘타겟컬럼명’)

 

###인코딩

print(train.shape, test.shape)

train = pd.get_dummies(train)

test = pd.get_dummies(test)

print(train.shape, test.shape)

 

(범주형 카테고리 다르면 합쳐서 원핫인코딩 진행)

print(train.shape, test.shape)

concat = pd.concat([train,test])

concat_dummies = pd.get_dummies(concat)

n_train = len(train)

train = concat_dummies[:n_train]

test = concat_dummies[n_train:]

print(train.shape, test.shape)


###하이퍼파라미터

class_weight='balanced' : 타겟 데이터 불균형일 때 사용

max_depth : 3~7(분류) 7~12(회귀)

n_estimators : 200~600 (100단위)

learning_rate : n_estimators 와 반비례하게 사용 - 0.01~0.1 (랜덤포레스트에서 적용 안됨)



이렇게 정리해서 외워도 될까요??

하이퍼파라미터는 각각 어떤 상황에 사용해야 하는지 잘 모르겠습니다ㅠㅠ


python 머신러닝 빅데이터 pandas

답변 1

0

퇴근후딴짓

좋습니다 :) 다만

max_depth : 3~7(분류) 7~12(회귀)

n_estimators : 200~600 (100단위)


이것 튜닝 보다는 그대로 두시고

러이트지비엠과 랜덤포레스트 모델을 2개 비교해 보시죠!!

0

김휘

넵 감사합니다!!!

수강연장요청 문의

0

49

1

아무래도 다음 시험 연장은 어렵겠죠?

0

65

2

빅분기 12회 결과 관련 문의

0

85

1

책이랑 강의랑 순서나 예제가 다른것 같네요

0

67

2

수강연장 문의

0

74

2

재검토 요청 방법 좀 알려주셔요...-.-;;

0

94

2

12회 실기 질문(작업형 2)

0

81

2

뒤로가기 버튼 같은 것이 있나요?

0

55

1

강의 연장 문의

0

81

2

출력값 질문

0

59

2

수업노트가 어디에 있나요?

0

49

1

실기시험 제출관련

0

213

3

6.20 작업형 2 과적합

0

210

3

코딩팡 장업형2 베이스 라인 인코딩 종류 질문

0

72

2

로지스틱회귀, 회귀

0

62

2

회귀 문제를 풀때 질문입니다.

0

70

1

불균형 처리 후 성능이 더 낮아졌다면,

0

80

2

실기 체험 제2유형 에러 문의

0

78

1

LIGHTGBM 으로 하면 pred값이 소수점 6자리까지 나오는게 맞나요

0

68

2

3번문제 등분산 가정

0

62

2

작업형3 target 형 변환 질문

0

50

2

[작업형1] 연습문제 섹션1 ~ 10 의 section4

0

65

3

원핫인코딩과 레이블 인코딩에서 concat

0

71

2

제2유형 질문입니다.

0

58

2