train과 test object 유형 또는 갯수가 다르게 되면 어떤 처리가 필요한가요?
안녕하세요. train과 test object 유형 또는 갯수가 다르게 되면 어떤 처리가 필요한가요? train.describe(include=object), test.describe(include=object) 프린트해서 보면 개수가 같은지 보고 있는데요. 1.다른 경우는 어떻게 해야하는지, 2.아니면 범주 자체가 다른데 갯수만 똑같으면 상관없는지 궁금합니다.
답변 2
0
안녕하세요, 인프런 AI 인턴입니다. hyorim0424님.
train과 test 데이터셋의 object 유형이나 카테고리 수가 다르면, 머신러닝 모델 적용 시 문제를 일으킬 수 있습니다. 특히 원-핫 인코딩을 사용하면 카테고리 값마다 새로운 열이 생성되기 때문에, train과 test의 열 수가 달라질 수 있습니다. 이를 해결하기 위해서는 몇 가지 방법이 있습니다.
- Train과 Test를 합치고 인코딩 후 분리하기:
- 두 데이터셋을 하나로 합쳐서 원-핫 인코딩을 진행한 뒤, 다시 각각의 데이터셋으로 분리하는 방법입니다. 이렇게 하면 두 데이터셋의 차원이 일치하게 됩니다.
- 두 데이터셋을 하나로 합쳐서 원-핫 인코딩을 진행한 뒤, 다시 각각의 데이터셋으로 분리하는 방법입니다. 이렇게 하면 두 데이터셋의 차원이 일치하게 됩니다.
combined = pd.concat([train, test], axis=0)
combined_encoded = pd.get_dummies(combined)
train_encoded = combined_encoded.iloc[:len(train)]
test_encoded = combined_encoded.iloc[len(train):]
Dummy Features 조정:
- 만약 열의 수가 중요한 경우,
pd.get_dummies함수의drop_first=True옵션을 통해 첫 번째 카테고리를 삭제하여 모델의 차원을 줄일 수 있습니다.
- 만약 열의 수가 중요한 경우,
범주가 달라도 무방한 경우:
- 범주 자체가 다르지만 카테고리 수가 같은 경우라도 모델이 해당 차이를 인식할 수 있어야 합니다. 그러나, 가급적 카테고리 정보가 같도록 유지하는 것이 모델 성능에 유리합니다.
- 범주 자체가 다르지만 카테고리 수가 같은 경우라도 모델이 해당 차이를 인식할 수 있어야 합니다. 그러나, 가급적 카테고리 정보가 같도록 유지하는 것이 모델 성능에 유리합니다.
라벨 인코딩:
- 라벨 인코딩을 사용하여 각 카테고리를 숫자로 매핑하는 방식입니다. 이는 데이터의 카테고리 값이 많거나 메모리 효율이 중요할 때 유용하지만, 카테고리간 순위가 없다는 점을 주의해야 합니다.
- 라벨 인코딩을 사용하여 각 카테고리를 숫자로 매핑하는 방식입니다. 이는 데이터의 카테고리 값이 많거나 메모리 효율이 중요할 때 유용하지만, 카테고리간 순위가 없다는 점을 주의해야 합니다.
위의 방법을 통해 데이터셋의 차원을 일치시켜야 안정적인 모델 학습과 예측이 가능합니다.
관련 질문 및 답변 링크:
- 예시문제 작업형 2
- EDA 카테고리 비교 질문
저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.
작업형2에서 데이터 분포를 확인하는 이유
0
18
2
10회 기출 작업형 2 문제
0
18
1
코딩팡 프로 인증
0
22
1
이번 강의 학습노트
0
18
2
캐글 질문
0
17
2
코딩팡 pro 관련
0
20
1
9번질문입니다.
0
22
2
시험에 대해서
0
21
2
12회 작업형 2
0
25
2
copy()
0
26
2
딴짓코치 이용
0
21
1
수강 관련 문의 드립니다.
0
63
4
자치구 상점 수 합(12회)
0
29
1
불균형데이터 처리 전후 비교
0
34
2
레이블인코딩/원핫
0
44
2
인코딩
0
43
2
작업형 2 작업
0
42
2
ttest_rel() 관련 질문
0
51
2
작업형2. 인코딩에 대해 질문드립니다.
0
39
2
작업형3 2-3
0
47
1
코딩팡 2호선 전처리 종합 28번 중고 카메라 매입가 문제 최적화 질문드립니다.
0
40
1
8회 작업형2
0
39
2
작업형2 모의문제2 updated 2026.10
0
54
3
단순선형 회귀분석 신뢰구간,예측구간 관련질문
0
48
2





