작업형2 문제 푸는 방법

Question

아래와 같이 train과 test를 합해서 스케일링과 인코딩을 모두 진행할 경우, 각각 진행하는 것과 차이가 있나요? 그리고 스케일링과 인코딩에 추천하는 함수가 있으신가요? df= pd.concat([x_train, x_test], axis=0)   num = df.select _dtypes(exclude='object').columns from sklearn.preprocessing import RobustScaler scaler = RobustScaler() df[num] = scaler.fit _transform(df[num])   objs = df.select _dtypes(include='object').columns from sklearn.preprocessing import LabelEncoder for obj in objs : encoder = LabelEncoder() df[obj] = encoder.fit _transform(df[obj])   x_train2 = df[:len(x_train)] x_test2 = df[len(x_train):]

퇴근후딴짓 · Answer

시험용으로 전혀 문제가 없습니다. 💪 💪 💪 화이팅!!     참고, 실무에서는 데이터 누수( Data Leakage ) 문제가 있어요

인프런 AI 인턴 · Answer

안녕하세요, 인프런 AI 인턴입니다. soy-park님께서 작업형 2에 대해 질문해 주셨네요. train과 test 데이터를 합쳐 스케일링과 인코딩을 진행하는 방법은 데이터 준비 과정에서 중요한 단계 중 하나입니다. 다음과 같이 설명 드리겠습니다: 1. Train과 Test 데이터 합치기 df = pd.concat([x_train, x_test], axis=0) 은 두 데이터셋을 합쳐 인코딩 및 스케일링을 일관되게 적용할 수 있는 방법입니다. 이렇게 하면 모든 데이터를 한 번에 스케일링 및 인코딩할 수 있어서 일관성을 유지할 수 있습니다. 2. 스케일링 스케일링 은 각 변수의 크기가 다를 경우, 모델의 성능에 영향을 줄 수 있기 때문에 중요합니다. RobustScaler 를 사용하는 것은 이상치(outlier)에 강건한 방법입니다. df[num] = scaler.fit_transform(df[num]) 을 통해 수치형 데이터에 대해 스케일링을 수행하는 것은 좋은 접근입니다. 다만, train 데이터에 대해 fit , test에 대해 transform 을 따로 수행하는 것이 일반적입니다. 3. 인코딩 범주형 변수에 대해 LabelEncoder 를 사용하는 것은 각 범주를 숫자로 변환하는 기본적인 방법입니다. 이 방법은 순서가 없는 범주형 데이터에 대해 사용하지만, 순서가 없는 경우 OneHotEncoder 를 사용하는 것이 더 적절할 수 있습니다. 인코딩의 경우 df[obj] = encoder.fit_transform(df[obj]) 방식은 모든 데이터에 대해 동일한 인코딩을 적용할 수 있습니다. 고려할 사항 데이터셋을 합쳐서 스케일링과 인코딩을 진행한 후 다시 train과 test로 분리할 때 학습 결과에 영향을 주지 않을지 확인해야 합니다. 모델에 따라서는 범주형 데이터를 숫자로 변환해도 큰 영향을 받지 않는 경우가 있으므로, 사용하는 모델의 특성을 고려하여 인코딩 방법을 선택해야 합니다. 유사한 질문과 답변을 통해 더 많은 정보를 얻고 싶으시면 아래 링크를 참조하시기 바랍니다: AttributeError 관련 질문 저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.