train과 test unique값이 다를 경우 질문드립니다!!
안녕하세요 선생님 train과 test unique값이 다를 경우에 대해서 궁금한 점이 있어 질문드립니다.
df = pd.concat([X_train, X_test])
ddf = pd.get_dummies(df)
n = len(X_train)
X_train = ddf[:n]
X_test = ddf[n:]저번에 선생님께서 다를 경우 이런식으로 합친 다음에 원핫인코딩 해준다고 말씀해주셨는데 만약에 unique값이 너무 많을 경우에는 이런식으로 합친 다음에 레이블 인코딩을 진행해도 될까요?
df = pd.concat([X_train.assign(ind = 'train'), X_test.assign(ind = 'test')])
from sklearn.preprocessing import LabelEncoder
le = LabelEncoder()
df[cols] = df[cols].apply(le.fit_transform)
X_train = df[df['ind'] == 'train'].copy()
X_train = X_train.drop('ind', axis = 1)
X_test = df[df['ind'] == 'test'].copy()
X_test = X_test.drop('ind', axis = 1)답변 2
0
네 유니크 값이 많을 경우 레이블 인코딩 진행하면 됩니다. 단, 위 방식의 인코딩은 apply를 사용하여 fit_transform을 호출할 경우, LabelEncoder는 각 컬럼을 독립적으로 변환하는 것이 아니라, 모든 컬럼에 대해 동일한 변환을 적용하려고 할 것같아요.
테스트 및 확인해볼 필요가 있을 것 같은데
제가 설명한 레이블 인코딩과 전혀 다른 방식을 사용하고 있어서 이 부분에 대해서는 문제가 없는지 검토가 필요할 것 같습니다. 레이블 인코딩은 각 컬럼별로 진행해야 해서 반복문이 필요한데 apply방식은 독립적으로 실행하는 것이 맞는지 테스트가 필요해 보입니다. 어디서 이 방식을 사용하는 것을 배웠을까요?😅
강의 연장 관련하여 문의드립니다.
0
12
1
섹션7 자료 다운로드
0
12
1
작업형 1 연습문제 Section12
0
12
1
수강기간 연장 문의
0
25
1
안녕하세요, 혹시 수강기간 연장이 가능할까요?
0
27
2
판다스 강의자료는 어디서 받을 수 있나요?
0
26
2
작업형2 모의고사3 자료 업데이트 요청
0
31
4
수강 연장가능여부 문의드립니다!
0
32
2
수강기간 연장 문의드립니다!
0
30
2
최빈값
0
28
2
수강 가이드라인
0
28
2
수강 연장 가능 여부 문의
0
53
2
강의 구매했는데 교재 필수일까요
0
41
2
수강기간 연장 가부 문의드립니다.
0
37
2
수강기간 연장이 가능한지 양해를 구하며 문의를 드립니다.
0
40
2
작업형2 모의문제2에서 drop이랑 인코딩
0
51
3
인코딩을 다 꼭 해봐야하는지
0
48
2
안녕하세요? 강사님 질문있습니다.(인코딩관련)
0
60
2
이진분류에서 양성 클래스가 0일 때 평가 방법
0
46
2
원핫인코딩 전 train과 test 병합여부
0
51
2
수강기간 연장
0
72
2
29강 작업2형의 이상치 처리
0
70
2
수강기간 연장 문의드립니다!
0
66
2
9월에 실기출제기준 개정내역에 신설된부분
0
56
1