inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

3-4 로버스트 스케일링

해결된 질문

300

박윤정

작성한 질문수 4

0

선생님, 안녕하세요.

 

로버스트 스케일링이 적용되지 않는 칼럼이 있는 것 같아 문의글 남깁니다.

def get_nc_data():
    X_train = pd.read_csv("X_train.csv")
    X_test = pd.read_csv("X_test.csv")
    y_train = pd.read_csv("y_train.csv")

    n_train = X_train.select_dtypes(exclude='object').copy()
    n_test = X_test.select_dtypes(exclude='object').copy()
    c_train = X_train.select_dtypes(include='object').copy()
    c_test = X_test.select_dtypes(include='object').copy()
    return n_train, n_test, c_train, c_test
cols = ['age', 'fnlwgt', 'education.num', 'capital.gain', 'capital.loss', 'hours.per.week']
from sklearn.preprocessing import RobustScaler
n_train, n_test, c_train, c_test = get_nc_data() # 데이터 새로 불러오기

scaler = RobustScaler()
display(n_train.head())
n_train[cols] = scaler.fit_transform(n_train[cols])
n_test[cols] = scaler.transform(n_test[cols])
display(n_train.head())

이렇게 선생님께서 올려주신 강의노트에서

head(2) 부분만 head() 로 수정하여 실행시켜 보았는데요,

실행시킨 결과를 보면 capital.gain, capital.loss 두 칼럼에 대해서는 값이 그대로 나옵니다.

(민-맥스, 표준화 스케일링에서는 정상 처리된 것으로 확인되었습니다.)

제가 놓친 부분이 있는지 확인 가능하실까요?

 

python 머신러닝 빅데이터 pandas 빅데이터분석기사

답변 2

1

퇴근후딴짓

X_train[['capital.gain', 'capital.loss']].describe()을 통해 값을 확인해보면
대부분의 값이 0이에요.
IQR(사분위 범위)이 0인 두 특성에 대해 RobustScaler를 적용해도 데이터의 대부분의 값이 변경되지 않습니다. 스케일링 공식에서 IQR로 나누는데, IQR이 0이므로 나눌 수 없기 때문에 IQR이 0인 모든 항목의 원래 값이 그대로 유지됩니다.

0

박윤정

엇 강의에서도 해당 칼럼 값이 바뀌지 않았네요..!

칼럼 특성상 로버스트 스케일링 후에도 동일한 값을 가지는 것인가요?

기출 11회 작업형 2_전체 데이터 학습 여부

0

15

1

예측값 결과 소수점 차이

0

21

2

기출 문제와 실전챌린지 연습문제 무엇부터 푸는게 나은가요?

0

14

0

전처리 train() test([ ])

0

16

2

작업형 1 배경지식 질문

0

19

2

옳게 풀은건지 질문드립니다!

0

14

1

roc_auc_score

0

23

2

추가질문 합니다

0

17

2

시험환경 구름

0

18

2

2유형 질문드려요

0

17

2

RandomForest vs lgb

0

24

2

전처리 관련질문

0

25

3

작업형3 기출

0

18

2

유형2에서 데이터분할 생략 가능여부

0

30

2

9회 기출 유형3 질문

0

20

2

lgb 기초편

0

14

1

괄호 사용

0

24

2

작업형 2 데이터 전처리 질문

0

22

1

11회 기출 유형 작업형1 문제 3-1

0

20

1

예시문제 작업형2 (ver2023) 질문입니다

0

20

2

Data type에 따른 처리

0

21

2

데이터 전처리 관련

0

19

2

시험에서 문제 불러오기

0

20

2

2번문제 출력값 질문

0

27

2