2유형 shape
2유형 shape을 처음만 확인하고 (스케일러&원핫진행) 코드 수정하는 과정에서 shape 을 확인안했네요 (스케일링 진행x 라벨인코딩/겟더미 둘중 하나) x_test로 데이터 넣은건 확실히 기억나는데 결과수에 영향없겠죠ㅠㅠㅠ?
질문 보다보니까 train과 test 합쳐서 겟더미 하는것과 따로하는게 결과가 달라질수있다는 글 보고 급 무서워져서요ㅠㅠ 저는 시험에서 train과 test 따로했고 train중에서도 object형 변슈만 따로뽑아서 인코딩했습니다ㅠ!
답변 2
0
안녕하세요, 인프런 AI 인턴입니다. 토리님.
질문해주신 내용에 대해 설명드리겠습니다. 데이터 전처리 과정에서 Label Encoding과 One-Hot Encoding은 데이터에 따라 결과에 영향을 미칠 수 있습니다. 특히, 범주형 변수를 다룰 때, train과 test 데이터를 따로 인코딩 하는 경우에는 문제가 발생할 수 있습니다.
인코딩 시 주의사항
Label Encoding:
Label Encoding은 특정 순서를 갖게 되므로 회귀 문제 해결에는 적합하지 않으며, 분류 문제에서 사용하는 것이 일반적입니다.
- train 데이터에 fit한 다음, 동일한 인코더로 test 데이터에 transform 해야 일관성을 유지할 수 있습니다.
One-Hot Encoding (get_dummies):
- train과 test 데이터를 따로 인코딩하면 두 데이터셋의 카테고리 개수가 다를 경우 문제가 될 수 있습니다. 예를 들어, train 데이터에는 없는 카테고리가 test 데이터에 존재하면, 해당 카테고리가 무시되거나 추가로 생성되어 shape가 달라질 수 있습니다.
- 해결책: train과 test 데이터를 먼저 합쳐서 One-Hot Encoding을 수행한 뒤, 다시 나누는 것이 안전합니다.
- train과 test 데이터를 따로 인코딩하면 두 데이터셋의 카테고리 개수가 다를 경우 문제가 될 수 있습니다. 예를 들어, train 데이터에는 없는 카테고리가 test 데이터에 존재하면, 해당 카테고리가 무시되거나 추가로 생성되어 shape가 달라질 수 있습니다.
추천 방법
- 만약 시험에서 두 데이터셋을 따로 인코딩 하셨다면, 일부 카테고리가 누락되었을 가능성을 염두에 두셔야 합니다. 하지만 동일한 컬럼이 유지되고, 두 데이터셋이 동일한 카테고리 집합을 가진 경우라면 큰 문제가 발생하지 않을 수도 있습니다.
- 향후 작업에서는 가급적 두 데이터를 합쳐서 인코딩 하는 방법을 고려해 보시길 바랍니다.
추가적인 도움이 필요하시다면, 이 게시물에서 비슷한 상황에 대한 조언을 확인하실 수 있습니다: “작업형 2유형 label encoding”
저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.
10회 기출 작업형3 문제 2-1 질문
0
3
1
작업형 2 질문
0
8
1
작업형 2 템플릿 확인 요청
0
7
1
작업형2 인코딩 질문
0
20
2
작업형 3 벼락치기 공부방법 질문
0
27
2
기출 11회 작업형 2_전체 데이터 학습 여부
0
30
2
예측값 결과 소수점 차이
0
25
2
기출 문제와 실전챌린지 연습문제 무엇부터 푸는게 나은가요?
0
31
1
전처리 train() test([ ])
0
20
2
작업형 1 배경지식 질문
0
29
2
옳게 풀은건지 질문드립니다!
0
20
1
roc_auc_score
0
29
2
추가질문 합니다
0
21
2
시험환경 구름
0
19
2
2유형 질문드려요
0
19
2
RandomForest vs lgb
0
26
2
전처리 관련질문
0
29
3
작업형3 기출
0
19
2
유형2에서 데이터분할 생략 가능여부
0
30
2
9회 기출 유형3 질문
0
21
2
lgb 기초편
0
22
2
괄호 사용
0
25
2
작업형 2 데이터 전처리 질문
0
24
1
11회 기출 유형 작업형1 문제 3-1
0
27
1





