train과 test unique값이 다를 경우 질문드립니다!!
안녕하세요 선생님 train과 test unique값이 다를 경우에 대해서 궁금한 점이 있어 질문드립니다.
df = pd.concat([X_train, X_test])
ddf = pd.get_dummies(df)
n = len(X_train)
X_train = ddf[:n]
X_test = ddf[n:]저번에 선생님께서 다를 경우 이런식으로 합친 다음에 원핫인코딩 해준다고 말씀해주셨는데 만약에 unique값이 너무 많을 경우에는 이런식으로 합친 다음에 레이블 인코딩을 진행해도 될까요?
df = pd.concat([X_train.assign(ind = 'train'), X_test.assign(ind = 'test')])
from sklearn.preprocessing import LabelEncoder
le = LabelEncoder()
df[cols] = df[cols].apply(le.fit_transform)
X_train = df[df['ind'] == 'train'].copy()
X_train = X_train.drop('ind', axis = 1)
X_test = df[df['ind'] == 'test'].copy()
X_test = X_test.drop('ind', axis = 1)답변 2
0
네 유니크 값이 많을 경우 레이블 인코딩 진행하면 됩니다. 단, 위 방식의 인코딩은 apply를 사용하여 fit_transform을 호출할 경우, LabelEncoder는 각 컬럼을 독립적으로 변환하는 것이 아니라, 모든 컬럼에 대해 동일한 변환을 적용하려고 할 것같아요.
테스트 및 확인해볼 필요가 있을 것 같은데
제가 설명한 레이블 인코딩과 전혀 다른 방식을 사용하고 있어서 이 부분에 대해서는 문제가 없는지 검토가 필요할 것 같습니다. 레이블 인코딩은 각 컬럼별로 진행해야 해서 반복문이 필요한데 apply방식은 독립적으로 실행하는 것이 맞는지 테스트가 필요해 보입니다. 어디서 이 방식을 사용하는 것을 배웠을까요?😅
작업형 1번문제... 환경관련
0
20
2
12회 기출은 언제 업데이트 될까요??
0
26
2
8/6 작성한 연장문의 질문글에 대한 재요청
0
34
2
수강기간 연장 문의
0
28
2
수강기간 연장문의
0
33
2
수강기간 연장 요청 문의드립니다
0
31
2
수강 기간 연장 문의
0
42
2
수강연장 가능 문의 (기간 약 한달반)
0
55
2
수강기간 연장 가능할까요 선생님
0
70
2
Section15. 수업에 사용하는 데이터 주소가 다 보이지 않아서 실습을 위한 데이터를 다운 받지 못하고 있습니다.
0
49
3
수강연장요청 문의
0
84
2
아무래도 다음 시험 연장은 어렵겠죠?
0
104
2
빅분기 12회 결과 관련 문의
0
108
1
책이랑 강의랑 순서나 예제가 다른것 같네요
0
78
2
수강연장 문의
0
102
2
재검토 요청 방법 좀 알려주셔요...-.-;;
0
102
2
12회 실기 질문(작업형 2)
0
89
2
뒤로가기 버튼 같은 것이 있나요?
0
62
1
강의 연장 문의
0
97
2
출력값 질문
0
69
2
수업노트가 어디에 있나요?
0
60
1
실기시험 제출관련
0
223
3
6.20 작업형 2 과적합
0
227
3
코딩팡 장업형2 베이스 라인 인코딩 종류 질문
0
86
2