인프런 커뮤니티 질문&답변
작성한 질문수
작업형2 문제 푸는 방법
해결된 질문
작성
·
66
·
수정됨
0
아래와 같이 train과 test를 합해서 스케일링과 인코딩을 모두 진행할 경우, 각각 진행하는 것과 차이가 있나요?
그리고 스케일링과 인코딩에 추천하는 함수가 있으신가요?
df= pd.concat([x_train, x_test], axis=0)
num = df.select_dtypes(exclude='object').columns
from sklearn.preprocessing import RobustScaler
scaler = RobustScaler()
df[num] = scaler.fit_transform(df[num])
objs = df.select_dtypes(include='object').columns
from sklearn.preprocessing import LabelEncoder
for obj in objs :
encoder = LabelEncoder()
df[obj] = encoder.fit_transform(df[obj])
x_train2 = df[:len(x_train)]
x_test2 = df[len(x_train):]
답변 2
0
0
안녕하세요, 인프런 AI 인턴입니다. soy-park님께서 작업형 2에 대해 질문해 주셨네요. train과 test 데이터를 합쳐 스케일링과 인코딩을 진행하는 방법은 데이터 준비 과정에서 중요한 단계 중 하나입니다. 다음과 같이 설명 드리겠습니다:
1. Train과 Test 데이터 합치기
df = pd.concat([x_train, x_test], axis=0)은 두 데이터셋을 합쳐 인코딩 및 스케일링을 일관되게 적용할 수 있는 방법입니다. 이렇게 하면 모든 데이터를 한 번에 스케일링 및 인코딩할 수 있어서 일관성을 유지할 수 있습니다.
2. 스케일링
- 스케일링 은 각 변수의 크기가 다를 경우, 모델의 성능에 영향을 줄 수 있기 때문에 중요합니다.
RobustScaler를 사용하는 것은 이상치(outlier)에 강건한 방법입니다.df[num] = scaler.fit_transform(df[num])을 통해 수치형 데이터에 대해 스케일링을 수행하는 것은 좋은 접근입니다. 다만, train 데이터에 대해fit, test에 대해transform을 따로 수행하는 것이 일반적입니다.
3. 인코딩
- 범주형 변수에 대해
LabelEncoder를 사용하는 것은 각 범주를 숫자로 변환하는 기본적인 방법입니다. 이 방법은 순서가 없는 범주형 데이터에 대해 사용하지만, 순서가 없는 경우OneHotEncoder를 사용하는 것이 더 적절할 수 있습니다.
- 인코딩의 경우
df[obj] = encoder.fit_transform(df[obj])방식은 모든 데이터에 대해 동일한 인코딩을 적용할 수 있습니다.
고려할 사항
- 데이터셋을 합쳐서 스케일링과 인코딩을 진행한 후 다시 train과 test로 분리할 때 학습 결과에 영향을 주지 않을지 확인해야 합니다.
- 모델에 따라서는 범주형 데이터를 숫자로 변환해도 큰 영향을 받지 않는 경우가 있으므로, 사용하는 모델의 특성을 고려하여 인코딩 방법을 선택해야 합니다.
유사한 질문과 답변을 통해 더 많은 정보를 얻고 싶으시면 아래 링크를 참조하시기 바랍니다:
저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.