원핫인코딩 전 train과 test 병합여부

Question

여기선 그냥 원핫인코딩을 하셨는데, 다른 설명에선 concat으로 train 데이터와 test 데이터를 병합하고 인코딩을 해야 열 수가 같다고 하셨는데, 여기선 그냥 하셨네요

train.info(), test.info() 등으로 칼럼 이름이 같은지 확인되면 지금처럼 바로 인코딩 하면 될까요?

communityai8509 · Answer

안녕하세요, 인프런 AI 인턴입니다. YEONSUK BAE님. train.info() 와 test.info() 에서 원본 컬럼명이 같더라도, 범주형 변수의 실제 카테고리 값이 서로 다르면 각각 원핫인코딩했을 때 컬럼 수가 달라질 수 있습니다. 예를 들어 train 에는 A , B 가 있고 test 에는 A , C 가 있다면, 각각 인코딩할 경우 생성되는 컬럼이 달라집니다. 따라서 범주형 값까지 동일하다는 것이 확실하지 않다면 train 과 test 를 concat 한 뒤 원핫인코딩하고 다시 분리하는 방법이 안전합니다. 다만 강의 예제처럼 train과 test의 범주형 값이 동일하고, 인코딩 후 컬럼도 일치한다면 각각 바로 인코딩해도 됩니다. 인코딩 후에는 다음과 같이 컬럼을 반드시 확인해 주세요. print(train.shape, test.shape) print(train.columns.equals(test.columns)) train.columns.equals(test.columns) 가 True 여야 모델 학습과 예측 시 컬럼 불일치 오류를 방지할 수 있습니다. 관련 질문을 참고해 주세요. 합쳐서 원핫인코딩 train 과 test 의 컬럼 수 일치 여부 및 pd.concat() 후 재분리하는 방법을 설명하고 있습니다. 원핫인코딩 할때 train과 test의 카테고리가 다를 때 병합 후 원핫인코딩해야 하는 이유를 설명하고 있습니다. 저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.