데이터 표준화에 대한 질문입니다.

얼마 전 오프라인 교육에서 강사님이 신규데이터끼리 따로 스케일링을 새로 한다길래 의아했었는데, 질문하기 잘했네요.

항상 친절한 답변 정말 감사합니다.

안녕하십니까, 아래에 답변을 기재드립니다.

1. 네, 맞습니다.

학습 데이터 기준 최소값 0이 0, 최대값 100이 1로 스케일링 되므로 -10은 -0.1,  200은 2로 변환됩니다.

아래는 테스트용 코드이니 참조하십시요.

from sklearn.preprocessing import MinMaxScaler
import numpy as np

train_data = np.array([100, 0, 10]).reshape(-1, 1)

scaler = MinMaxScaler()
scaler.fit(train_data)
train_scaled_data = scaler.transform(train_data)
print(train_scaled_data)

test_data = np.array([200, 0, -10]).reshape(-1, 1)
test_scaled_data = scaler.transform(test_data)
print(test_scaled_data)

2. 네 모든 scaler에 똑같이 적용됩니다.

3. Scaling 변환은 연속형 feature에만 적용합니다. 카테고리 feature에는 잘 아시다시피 적용할 필요가 없습니다. 따라서 10개 중에 9개가 연속형, 한개가 카테고리 feature이면 9개만 변환한 뒤에 한개의 카테고리 feature를 여기에 concatenation합니다. 

감사합니다

1. 만약 범위가 0부터 100까지인 학습 데이터 세트를 min, max 스케일링 하면, x=(x-x.min)/(x.max-x.min)이 적용되어 최소값0은 0, 최대값 100은 1로 스케일링이 되잖아요.

그런데 -10부터, 200까지인 신규 데이터 세트가 들어오면, x=(x-x.min)/(x.max-x.min) 공식에서 x.min과 x.max가 학습데이터의 것이 활용되어 스케일링이 되는건가요?

이렇게 됐을 경우 계산해보면 신규데이터는 -0.1에서 2까지의 범위를 갖게 되는데 제가 이해한 것이 맞는지 확인 부탁드립니다.

2. 위의 개념이 StandardScaler에도 똑같이 적용이 되는 것이죠?? 학습데이터에서 fit한 변수? 객체? (scaler = StandardScaler()일 때 scaler)를 통해 검증데이터와 신규데이터 똑같이 변환하여, mean(x)와 stdev(x)가 학습데이터 셋의 것이 사용되나요?

3. 그리고 이런 데이터 변환들은 피쳐들이 모두 연속형 데이터일때만 사용되나요?? 10개의 피처 중에 하나의 피처가 범주형 데이터일 때는 사용하지 않는건지 아니면 9개의 연속형 데이터에만 적용해서 사용하는지 궁금합니다.

안녕하십니까,

1번과 2번 설명입니다.

모델은 학습 데이터 기준으로 스케일된 데이터를 기반으로 학습합니다.  때문에 신규 데이터 및 테스트 데이터는 모두 학습데이터 기준으로  스케일링을 맞춰줘야 합니다. Scikit learn의 Scaler인 MinMaxScaler를 사용하는 예를 들어 보겠습니다.

아래에서 모델은 학습 데이터로 스케일된 데이터를 기반으로 학습합니다. scaler 객체는 학습 데이터의 Min, Max를 가지고 있으며 이를 기반으로 학습 데이터를 스케일링 합니다. scaler 객체는 학습 데이터 기반으로 스케일되어 있지만 이를 이용하여 테스트 또는 신규 데이터를 스케일 변환합니다. 유의하셔야 할 점은 신규 데이터를 단독으로 scale 하면 절대 안됩니다. 이미 모델이 학습 데이터를 기반으로 scale되어 있기 때문에 이 학습 데이터 scaler를 이용하여 신규 데이터를 변환해야 합니다.

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.33, random_state=42)

scaler = MinMaxScaler()
scaler.fit(X_train) # fit( )을 수행하면 min과 max의 범위를 정하게 됩니다. 
X_train_transformed = scaler.transform(X_train)
clf = LogisticRegression()
clf.fit(X_train_transformed)

# 여기서 테스트 데이터 또는 신규 데이터는 반드시 train 데이터로 fit() 된 scaler 객체를 사용해야 합니다. 
# 다시 scaler를 테스트 데이터로 fit( )해서는 안됩니다. 즉 scaler.fit(X_test)를 적용하면 안됩니다. 
# 아래와 같이 테스트 데이터 또는 신규 데이터를 변환합니다. 

X_test_transformed = scaler.transform(X_test)
preds = clf.predict(X_test_transformed)

데이터가 신규로 들어올 때도  
X_test_transformed = scaler.transform(X_test)와 같은 형태로 변환 하고 predict() 수행하면 됩니다. 

4. 피처와 타겟값에 로그변환을 취한다면, 신규데이터가 들어올 때도 로그변환을 적용해 줘야 합니다. 

감사합니다.