train과 test unique값이 다를 경우 질문드립니다!!
안녕하세요 선생님 train과 test unique값이 다를 경우에 대해서 궁금한 점이 있어 질문드립니다.
df = pd.concat([X_train, X_test])
ddf = pd.get_dummies(df)
n = len(X_train)
X_train = ddf[:n]
X_test = ddf[n:]저번에 선생님께서 다를 경우 이런식으로 합친 다음에 원핫인코딩 해준다고 말씀해주셨는데 만약에 unique값이 너무 많을 경우에는 이런식으로 합친 다음에 레이블 인코딩을 진행해도 될까요?
df = pd.concat([X_train.assign(ind = 'train'), X_test.assign(ind = 'test')])
from sklearn.preprocessing import LabelEncoder
le = LabelEncoder()
df[cols] = df[cols].apply(le.fit_transform)
X_train = df[df['ind'] == 'train'].copy()
X_train = X_train.drop('ind', axis = 1)
X_test = df[df['ind'] == 'test'].copy()
X_test = X_test.drop('ind', axis = 1)답변 2
0
네 유니크 값이 많을 경우 레이블 인코딩 진행하면 됩니다. 단, 위 방식의 인코딩은 apply를 사용하여 fit_transform을 호출할 경우, LabelEncoder는 각 컬럼을 독립적으로 변환하는 것이 아니라, 모든 컬럼에 대해 동일한 변환을 적용하려고 할 것같아요.
테스트 및 확인해볼 필요가 있을 것 같은데
제가 설명한 레이블 인코딩과 전혀 다른 방식을 사용하고 있어서 이 부분에 대해서는 문제가 없는지 검토가 필요할 것 같습니다. 레이블 인코딩은 각 컬럼별로 진행해야 해서 반복문이 필요한데 apply방식은 독립적으로 실행하는 것이 맞는지 테스트가 필요해 보입니다. 어디서 이 방식을 사용하는 것을 배웠을까요?😅
1유형 강의 다 나간 후 어떻게 할까요?
0
15
1
점수차가 많이 나는데 따로 하신게 있으신가요?
0
10
1
작업형1 모의문제 4번에 3)문제 질문
0
21
2
이상치 전처리 작업
0
25
2
평가결과값 문의
0
29
2
시계열 데이터 날짜와 시간 format
0
35
2
평가지표 F1 스코어 질문드립니다.
0
27
2
작업형 2 기출7회분에서
0
38
2
작업형2 모의문제1 (30강)
0
34
2
수강 기간 연장 문의 드립니다.
0
42
2
수강 계획과 관련해 문의 드립니다.
0
30
2
작업형1 - 연습문제 16~39 풀이는 몇강을 보면 되나요?
0
50
2
작업형 1 -연습문제 4-6
0
38
2
작업형 1 유형 부분
0
42
2
작업형 1 (삭제예정, 구 버전)
0
51
2
수강기간 연장 문의드립니다.
0
38
2
2유형 레이블 인코딩 VS 원핫 인코딩
0
37
3
수강기간 연장 문의드립니다.
0
44
2
인덱스 슬라이싱
0
37
2
질문 드립니다.
0
50
2
강의 내용 관련 질문드립니다~
0
46
2
수강 연장 문의
0
63
2
강의자료 일괄 다운로드
0
62
2
수강기간 연장 문의드립니다
0
48
2