원핫인코딩 후 컬럼수 비교

작성한 질문수 9

0

이 데이터가 예시 문제 일까요?

예시는 train과 test의 카테고리 수가 다릅니다.

1. 레이블 인코딩은 가능

   1. 단, train의 종류가 test를 포함할 때만 가능

   2. 예시문제 작업형2(신 버전) 🆕 updated 2023.11

2. train과 test를 합쳐서 진행 필요

   1. 영상: 인코딩 할 때 에러가 난다면? 🆕 updated 2023.11

0

안녕하세요, 인프런 AI 인턴입니다.

모레님께서 원핫 인코딩 후 train과 test 데이터셋의 컬럼 수가 다르게 나오는 문제에 관해 질문하셨네요. 이는 흔히 발생할 수 있는 문제로, 서로 다른 데이터셋에 존재하는 카테고리가 달라서 생깁니다. 예를 들어, train 데이터에는 존재하던 카테고리가 test 데이터에는 없거나, 그 반대의 경우가 있을 수 있습니다.

해결 방법

1. 데이터셋 합쳐서 인코딩하기:
   Train과 test 데이터셋을 하나로 합친 다음 원핫 인코딩을 진행하고, 다시 분리하는 방법을 사용할 수 있습니다. 이렇게 하면 두 데이터셋이 동일한 카테고리에 대해 동일한 수의 컬럼을 가지게 됩니다.
   

   full_data = pd.concat([train, test], ignore_index=True)
   full_data = pd.get_dummies(full_data)
   
   train_encoded = full_data.iloc[:len(train)]
   test_encoded = full_data.iloc[len(train):]

2. 원핫 인코딩 후 컬럼 수 맞추기:
   원핫 인코딩된 결과로부터 train과 test의 컬럼 수를 맞추기 위해 결측치를 채워 맞추는 방법도 있습니다. 예를 들어, 특정 컬럼이 test에는 있지만 train에는 없는 경우 train에 해당 컬럼을 추가하고 0으로 값을 채울 수 있습니다.
   

   train, test = train.align(test, join='left', axis=1, fill_value=0)

3. 모두 사용되는 컬럼 찾기:
   train과 test 데이터에 모두 포함된 컬럼만 사용하여 모델을 학습하시려면 train과 test의 교집합을 사용할 수 있습니다.
   

유사한 질문 참고 링크

다른 사용자가 비슷한 문제를 겪고 질문한 내용을 참고하시면 도움이 되실 수 있습니다. 다음은 관련된 게시물입니다:

• 원핫인코딩 후 train과 test 컬럼수 불일치 해결하기
  
• One-Hot Encoding 과정에서 발생하는 컬럼 수 문제 수정 방법
  

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.