인프런 커뮤니티 질문&답변
작성한 질문수
train과 test unique값이 다를 경우 질문드립니다!!
해결된 질문
작성
·
174
0
안녕하세요 선생님 train과 test unique값이 다를 경우에 대해서 궁금한 점이 있어 질문드립니다.
df = pd.concat([X_train, X_test])
ddf = pd.get_dummies(df)
n = len(X_train)
X_train = ddf[:n]
X_test = ddf[n:]저번에 선생님께서 다를 경우 이런식으로 합친 다음에 원핫인코딩 해준다고 말씀해주셨는데 만약에 unique값이 너무 많을 경우에는 이런식으로 합친 다음에 레이블 인코딩을 진행해도 될까요?
df = pd.concat([X_train.assign(ind = 'train'), X_test.assign(ind = 'test')])
from sklearn.preprocessing import LabelEncoder
le = LabelEncoder()
df[cols] = df[cols].apply(le.fit_transform)
X_train = df[df['ind'] == 'train'].copy()
X_train = X_train.drop('ind', axis = 1)
X_test = df[df['ind'] == 'test'].copy()
X_test = X_test.drop('ind', axis = 1)답변 2
1
0
퇴근후딴짓
지식공유자
네 유니크 값이 많을 경우 레이블 인코딩 진행하면 됩니다. 단, 위 방식의 인코딩은 apply를 사용하여 fit_transform을 호출할 경우, LabelEncoder는 각 컬럼을 독립적으로 변환하는 것이 아니라, 모든 컬럼에 대해 동일한 변환을 적용하려고 할 것같아요.
테스트 및 확인해볼 필요가 있을 것 같은데
제가 설명한 레이블 인코딩과 전혀 다른 방식을 사용하고 있어서 이 부분에 대해서는 문제가 없는지 검토가 필요할 것 같습니다. 레이블 인코딩은 각 컬럼별로 진행해야 해서 반복문이 필요한데 apply방식은 독립적으로 실행하는 것이 맞는지 테스트가 필요해 보입니다. 어디서 이 방식을 사용하는 것을 배웠을까요?😅
네 감사합니다!