train과 test unique값이 다를 경우 질문드립니다!!
안녕하세요 선생님 train과 test unique값이 다를 경우에 대해서 궁금한 점이 있어 질문드립니다.
df = pd.concat([X_train, X_test])
ddf = pd.get_dummies(df)
n = len(X_train)
X_train = ddf[:n]
X_test = ddf[n:]저번에 선생님께서 다를 경우 이런식으로 합친 다음에 원핫인코딩 해준다고 말씀해주셨는데 만약에 unique값이 너무 많을 경우에는 이런식으로 합친 다음에 레이블 인코딩을 진행해도 될까요?
df = pd.concat([X_train.assign(ind = 'train'), X_test.assign(ind = 'test')])
from sklearn.preprocessing import LabelEncoder
le = LabelEncoder()
df[cols] = df[cols].apply(le.fit_transform)
X_train = df[df['ind'] == 'train'].copy()
X_train = X_train.drop('ind', axis = 1)
X_test = df[df['ind'] == 'test'].copy()
X_test = X_test.drop('ind', axis = 1)답변 2
0
네 유니크 값이 많을 경우 레이블 인코딩 진행하면 됩니다. 단, 위 방식의 인코딩은 apply를 사용하여 fit_transform을 호출할 경우, LabelEncoder는 각 컬럼을 독립적으로 변환하는 것이 아니라, 모든 컬럼에 대해 동일한 변환을 적용하려고 할 것같아요.
테스트 및 확인해볼 필요가 있을 것 같은데
제가 설명한 레이블 인코딩과 전혀 다른 방식을 사용하고 있어서 이 부분에 대해서는 문제가 없는지 검토가 필요할 것 같습니다. 레이블 인코딩은 각 컬럼별로 진행해야 해서 반복문이 필요한데 apply방식은 독립적으로 실행하는 것이 맞는지 테스트가 필요해 보입니다. 어디서 이 방식을 사용하는 것을 배웠을까요?😅
작업형2 모의문제1 (30강)
0
18
1
수강 기간 연장 문의 드립니다.
0
22
1
수강 계획과 관련해 문의 드립니다.
0
20
1
작업형1 - 연습문제 16~39 풀이는 몇강을 보면 되나요?
0
47
2
작업형 1 -연습문제 4-6
0
34
2
작업형 1 유형 부분
0
40
2
작업형 1 (삭제예정, 구 버전)
0
50
2
수강기간 연장 문의드립니다.
0
35
1
2유형 레이블 인코딩 VS 원핫 인코딩
0
36
3
수강기간 연장 문의드립니다.
0
38
1
인덱스 슬라이싱
0
35
2
질문 드립니다.
0
50
2
강의 내용 관련 질문드립니다~
0
46
2
수강 연장 문의
0
63
2
강의자료 일괄 다운로드
0
58
2
수강기간 연장 문의드립니다
0
48
2
list 문제 질문드립니다~
0
38
2
빅분기 실기 12회 재도전
0
62
2
강의 기간 연장 가능여부 검토 요청건
0
50
2
수강기간 연장 문의 드립니다
0
46
2
수강기간 연장 문의드립니다
0
52
2
질문이요
0
57
2
수강기간 연장 문의드립니다.
0
60
2
문제 3-2 질문드립니다
0
47
2