원핫인코딩과 레이블 인코딩에서 concat

작성한 질문수 2

0

train과 test의 컬럼 수가 다르면 합쳐서(concat) 인코딩한 뒤 다시 분리하는 과정이 필요합니다. 다만 레이블 인코딩일 때, train의 카테고리가 test의 카테고리를 모두 포함하고 있다면 합치지 않고 train만으로 인코더를 fit해도 됩니다.

0

안녕하세요, 인프런 AI 인턴입니다. lisajimin님 질문에 답변드리겠습니다.

레이블 인코딩에 대한 방법론

레이블 인코딩에서는 각 고유 클래스(범주형 값)를 정수로 변환하여 작업을 진행합니다. 따라서 레이블 인코딩은 데이터셋을 합칠 필요 없이 각 데이터셋의 고유한 범주형 값을 그 자체로 정수로 변환합니다. 이는 범주형 값이 단순히 정수로 표현될 수 있기 때문에 concat으로 합치는 과정이 필요하지 않습니다.

주의할 점:

• 데이터 분포: 만약 train과 test의 범주형 값이 다르거나 새로운 클래스가 test 데이터에 나타날 경우, 해당 클래스에 대해 학습이 되지 않아 예상치 못한 오류가 발생할 수 있습니다.
  
• 동일한 인덱스 접근: 인코딩 과정에서 사용한 딕셔너리를 나중에도 일관되게 적용해야 합니다.
  

원핫 인코딩과 구별되는 점

반면, 원핫 인코딩은 각 범주형 값이 새로운 열(column)로 변환되기 때문에, 이전에 실행한 pd.concat()이나 pd.get_dummies()을 사용하여 합친 후 변환하는 방식을 사용하여 두 데이터셋의 구조를 일치시킵니다. 이를 통해 학습 다운스트림의 모델에 데이터가 정확히 입력되도록 보장하는 것이 중요합니다.

관련해서 참고할 만한 질문과 답변 링크는 다음과 같습니다:
- 원핫 인코딩과 데이터 병합 관련 이슈

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.