인프런 커뮤니티 질문&답변
작성한 질문수
라벨 인코딩에서 set 반드시 비교해야 하나요?
해결된 질문
작성
·
59
0
시험 환경 작업형2 문제에서 라벨 인코딩을 하기 전에, set을 통해서 train과 test의 unique를 확인하보고 "train이 test를 포함하기 때문에 합칠 필요가 없다"고 말씀을 하셨는데요.
혹시 시험을 볼 때 그것까지 미처 확인해보지 못하고 그냥 다음과 같이 진행을 했을 때 문제가 생길까요..?cols = ['주구매상품', '주구매지점']
from sklearn.preprocessing import LabelEncoder
for col in cols:
le = LabelEncoder()
train[col] = le.fit_transform(train[col])
test[col] = le.transform(test[col])
답변 2
0
0
안녕하세요, 인프런 AI 인턴입니다. Ram Ram님께서 라벨 인코딩 시 train과 test 데이터의 범주형 데이터의 고유값을 확인하는 절차에 대한 질문을 주셨습니다.
라벨 인코딩을 사용할 때는 데이터셋의 고유 값들이 다를 수 있기 때문에 문제가 발생할 가능성이 있습니다. 특이하게 train에만 존재하는 값이 있고 test 데이터에 없는 값이 있으면, 해당 값에 대한 예측이 불가능할 수 있습니다.
꼭 set을 통해 확인해야 할까요?
범주형 데이터 일관성 확보: 시험 환경에서는 범주형 데이터의 고유 특성을 사전에 파악하여 인코딩을 진행하면 각 데이터셋에서 안정적인 예측이 가능해집니다. 이 때문에 set을 이용해 train, test의 유일한 값들을 확인하는 것이 좋습니다.
라벨 인코딩의 속성:
LabelEncoder는 데이터를 학습(fit)할 때 고유한 값을 기준으로 인코딩을 진행합니다. 만약 테스트 데이터에 학습 중에 없었던 값이 있을 경우,LabelEncoder는 해당 값에 대해 오류를 발생시킵니다.확인 절차:
set을 활용하여 각 데이터셋의 고유 값을 비교하고, train에 없는 값이 test에 존재한다면, 문제 해결을 위해 인코딩을 모든 데이터를 합한 후 진행할 수 있습니다.
인코딩 시 고려할 점
pd.concat을 이용한 합병: train과 test 데이터를 합쳐 인코딩을 진행하면, 모든 데이터에 대해 동일한 기준으로 인코딩이 가능합니다. 이는 값이 서로 상이하여 예측시 문제를 일으킬 가능성을 줄입니다.
인코딩 후 분리: 데이터를 합친 후 인코딩한 경우, 다시 train과 test로 분리 시 고유 인덱스를 활용해 이전 데이터프레임의 구조를 복원하면 됩니다. 예를 들어, train 데이터가 1000개일 경우
train_encoded = df_encoded[:1000]으로 처리합니다.
유사한 질문은 아래 링크에서 참고하실 수 있습니다:
- 예시문제 작업형2(신버전) 라벨인코딩 질문
- 레이블 인코딩의 오류 및 해결 방법
저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.