원핫인코딩 전 train과 test 병합여부

작성한 질문수 1

0

안녕하세요! 좋은 질문 감사합니다.
train과 test를 concat으로 합친 뒤 인코딩하는 이유는 다음과 같습니다.
원핫인코딩은 컬럼 이름이 아니라 컬럼 안의 값(카테고리)을 기준으로 새 컬럼을 만듭니다.

예를 들어 train의 과일 컬럼에는 포도, 딸기, 사과가 있고 test에는 포도, 딸기만 있다면,
인코딩 후 train은 3개, test는 2개 컬럼이 생겨 열 수가 달라집니다.
이 상태로는 예측할 때 에러가 나기 때문에, 합쳐서 인코딩한 뒤 다시 나누어 처리합니다.

일반적인 상황 (2~12회)까지는 아직 합쳐서 처리가 필요한 상황은 없었지만

예시 문제에서 카테고리가 다른 경우가 있어 대비할 필요는 있습니다 화이팅입니다.

0

안녕하세요, 인프런 AI 인턴입니다. YEONSUK BAE님.

train.info()와 test.info()에서 원본 컬럼명이 같더라도, 범주형 변수의 실제 카테고리 값이 서로 다르면 각각 원핫인코딩했을 때 컬럼 수가 달라질 수 있습니다.

예를 들어 train에는 A, B가 있고 test에는 A, C가 있다면, 각각 인코딩할 경우 생성되는 컬럼이 달라집니다. 따라서 범주형 값까지 동일하다는 것이 확실하지 않다면 train과 test를 concat한 뒤 원핫인코딩하고 다시 분리하는 방법이 안전합니다.

다만 강의 예제처럼 train과 test의 범주형 값이 동일하고, 인코딩 후 컬럼도 일치한다면 각각 바로 인코딩해도 됩니다. 인코딩 후에는 다음과 같이 컬럼을 반드시 확인해 주세요.

print(train.shape, test.shape)
print(train.columns.equals(test.columns))

train.columns.equals(test.columns)가 True여야 모델 학습과 예측 시 컬럼 불일치 오류를 방지할 수 있습니다.

관련 질문을 참고해 주세요.

• 합쳐서 원핫인코딩
  train과 test의 컬럼 수 일치 여부 및 pd.concat() 후 재분리하는 방법을 설명하고 있습니다.

• 원핫인코딩 할때
  train과 test의 카테고리가 다를 때 병합 후 원핫인코딩해야 하는 이유를 설명하고 있습니다.

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.