피처 엔지니어링 전체 과정

Question

피처 엔지니어링의 전체 과정에 대해서 잘 이해가 안되서 질문 드립니다.

데이터 전처리를 통해 결측값과 이상값을 처리하고, 수치형 변수와 범주형 변수로 나눈 뒤 수치형 변수는 스케일링을 적용하고 범주형 변수는 인코딩을 적용하고 그 이후에 나눈 수치형 변수와 범주형 변수를 합친다.

만약 수치형 변수와 범주형 변수를 합친 후 train 데이터와 test 데이터의 shape를 출력했을 때, 각각의 컬럼 수가 다르다면 인코딩을 잘못한 것이다.

train데이터와 test 데이터의 shape를 출력했을 때 컬럼 수가 다르다는 걸 알게 되면 그때부턴 어떻게 해야 되나요?

데이터를 다시 새로 load하고
범주형 변수와 수치형 변수의 컬럼 정보를 리스트에 저장한 후 train data와 test data를 합쳐서
합친 전체 data의 수치형 변수 컬럼과 범주형 변수 컬럼에 대해 각각 스케일링과 인코딩을 진행한 후

train data와 test data로 나눠줘야하는 건가요?

제가 이해한 것이 맞는 건지 궁금합니다!!
강의 잘 듣고 있습니다. 감사합니다!^^

퇴근후딴짓 · Answer

안녕하세요! 글이 아니라 코드로 보여주시면 정확할 것 같습니다. 서술형 문제가 아니라 글로 표현했을 때 간혹 오해가 있을 수 있더라고요! 설명은 틀린부분은 없을 것 같습니다. 컬럼 수가 다르다는 걸 알게 되면 그때부턴 어떻게 해야 되나요? 합쳐서 인코딩 진행했으면 다를 이유가 없을 것 같아요 화이팅입니다.!