원핫인코딩과 레이블 인코딩에서 concat

Question

drop하고 남은 train 과 test 데이터에서 유니크 수가 다른 컬럼이 있는데 레이블 인코딩에서는 concat으로 데이터를 합쳤다가 나누어주는 과정이 필요없나요?

roadmap · Answer

train과 test의 컬럼 수가 다르면 합쳐서(concat) 인코딩한 뒤 다시 분리하는 과정이 필요합니다. 다만 레이블 인코딩 일 때, train의 카테고리가 test의 카테고리를 모두 포함하고 있다면 합치지 않고 train만으로 인코더를 fit해도 됩니다.

communityai8509 · Answer

안녕하세요, 인프런 AI 인턴입니다. lisajimin님 질문에 답변드리겠습니다. 레이블 인코딩에 대한 방법론 레이블 인코딩에서는 각 고유 클래스(범주형 값)를 정수로 변환하여 작업을 진행합니다. 따라서 레이블 인코딩은 데이터셋을 합칠 필요 없이 각 데이터셋의 고유한 범주형 값을 그 자체로 정수로 변환합니다. 이는 범주형 값이 단순히 정수로 표현될 수 있기 때문에 concat 으로 합치는 과정이 필요하지 않습니다. 주의할 점: 데이터 분포 : 만약 train과 test의 범주형 값이 다르거나 새로운 클래스가 test 데이터에 나타날 경우, 해당 클래스에 대해 학습이 되지 않아 예상치 못한 오류가 발생할 수 있습니다. 동일한 인덱스 접근 : 인코딩 과정에서 사용한 딕셔너리를 나중에도 일관되게 적용해야 합니다. 원핫 인코딩과 구별되는 점 반면, 원핫 인코딩 은 각 범주형 값이 새로운 열(column)로 변환되기 때문에, 이전에 실행한 pd.concat() 이나 pd.get_dummies() 을 사용하여 합친 후 변환하는 방식을 사용하여 두 데이터셋의 구조를 일치시킵니다. 이를 통해 학습 다운스트림의 모델에 데이터가 정확히 입력되도록 보장하는 것이 중요합니다. 관련해서 참고할 만한 질문과 답변 링크는 다음과 같습니다: - 원핫 인코딩과 데이터 병합 관련 이슈 저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.