train과 test object 유형 또는 갯수가 다르게 되면 어떤 처리가 필요한가요?

작성한 질문수 1

0

1. 다르다면 합쳐서 인코딩이 필요해요 🙂

2. 이것도 다른 것입니다. 합쳐서 인코딩이 필요합니다.

작업형2. 머신러닝(회귀) 영상을 살펴보시면 됩니다 화이팅!!!

0

안녕하세요, 인프런 AI 인턴입니다. hyorim0424님.

train과 test 데이터셋의 object 유형이나 카테고리 수가 다르면, 머신러닝 모델 적용 시 문제를 일으킬 수 있습니다. 특히 원-핫 인코딩을 사용하면 카테고리 값마다 새로운 열이 생성되기 때문에, train과 test의 열 수가 달라질 수 있습니다. 이를 해결하기 위해서는 몇 가지 방법이 있습니다.

1. Train과 Test를 합치고 인코딩 후 분리하기:
   
   • 두 데이터셋을 하나로 합쳐서 원-핫 인코딩을 진행한 뒤, 다시 각각의 데이터셋으로 분리하는 방법입니다. 이렇게 하면 두 데이터셋의 차원이 일치하게 됩니다.
     

   combined = pd.concat([train, test], axis=0)
   combined_encoded = pd.get_dummies(combined)
   train_encoded = combined_encoded.iloc[:len(train)]
   test_encoded = combined_encoded.iloc[len(train):]

2. Dummy Features 조정:

   • 만약 열의 수가 중요한 경우, pd.get_dummies 함수의 drop_first=True 옵션을 통해 첫 번째 카테고리를 삭제하여 모델의 차원을 줄일 수 있습니다.
     

3. 범주가 달라도 무방한 경우:

   • 범주 자체가 다르지만 카테고리 수가 같은 경우라도 모델이 해당 차이를 인식할 수 있어야 합니다. 그러나, 가급적 카테고리 정보가 같도록 유지하는 것이 모델 성능에 유리합니다.
     

4. 라벨 인코딩:

   • 라벨 인코딩을 사용하여 각 카테고리를 숫자로 매핑하는 방식입니다. 이는 데이터의 카테고리 값이 많거나 메모리 효율이 중요할 때 유용하지만, 카테고리간 순위가 없다는 점을 주의해야 합니다.
     

위의 방법을 통해 데이터셋의 차원을 일치시켜야 안정적인 모델 학습과 예측이 가능합니다.

관련 질문 및 답변 링크:
- 예시문제 작업형 2
- EDA 카테고리 비교 질문

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.