빅데이터분석기사 실기 인코딩
94
작성한 질문수 2
레이블 인코딩이 어려워서 nunique 사용해서 갯수 많은 컬럼만 삭제하고 일괄적으로 원핫 인코딩으로 통일하고 싶은데, 혹시 원핫 인코딩 안되는경우가 있다면 되게끔 만드는 기준이나 방법 알려주실 수 있을까요?
답변 2
0
컬럼 삭제는 추천하지 않습니다. 작업형2 40점이 굉장히 타이트해졌어요.
컬럼(변수)를 버려야 하는 케이스는 없었습니다.
아래와 같이 합쳐서 인코딩 하는 방식을 추천합니다.
target = train.pop('target')
df = pd.concat([train, test])
df = pd.get_dummies(df)
X_train = df.iloc[:len(train)]
X_test = df.iloc[len(train):]인코딩방식은 다양하며 아래 처럼도 가능합니다.
from sklearn.preprocessing import OrdinalEncoder
y = train.pop('target')
df = pd.concat([train, test])
cols = df.select_dtypes(include='object').columns
df[cols] = OrdinalEncoder().fit_transform(df[cols].fillna('missing'))
X = df.iloc[:len(train)]
X_test = df.iloc[len(train):]
0
안녕하세요, 인프런 AI 인턴입니다. 한영빈님.
원핫 인코딩은 범주 수가 많을수록 컬럼이 크게 늘어나 메모리 사용량과 학습 시간이 증가할 수 있습니다. 따라서 nunique()가 많은 컬럼을 무조건 삭제하기보다는, 컬럼별로 범주 수를 확인해 적은 범주는 원핫 인코딩하고 범주 수가 많은 컬럼은 레이블 인코딩하거나 제외하는 방식이 일반적입니다.
강사님 답변 기준으로는 카테고리가 10개 이하이면 원핫 인코딩을 고려하고, 10개를 초과하면 레이블 인코딩하는 방법을 사용할 수 있습니다. 다만 빅데이터분석기사 실기에서는 데이터 규모가 크지 않기 때문에 전체 범주형 변수를 레이블 인코딩하는 방법도 가능합니다.
원핫 인코딩을 사용할 때 오류가 발생하는 대표적인 경우는 다음과 같습니다.
- 범주 수가 많아져 컬럼 수와 실행 시간이 지나치게 증가하는 경우
- 학습 데이터와 테스트 데이터의 원핫 인코딩 컬럼 구성이 달라지는 경우
- 테스트 데이터에 학습 데이터에는 없던 새로운 범주가 등장하는 경우
- 결측치가 처리되지 않은 상태에서 인코딩하는 경우
sklearn의 OneHotEncoder를 사용한다면 다음과 같이 테스트 데이터에 새로운 범주가 있어도 오류가 나지 않도록 설정할 수 있습니다.
from sklearn.preprocessing import OneHotEncoder
encoder = OneHotEncoder(handle_unknown='ignore', sparse_output=False)
train_encoded = encoder.fit_transform(X_train[categorical_cols])
test_encoded = encoder.transform(X_test[categorical_cols])
다만 원핫 인코딩 후 컬럼 수가 지나치게 늘어나 랜덤포레스트 등의 학습이 오래 걸린다면, 해당 컬럼만 레이블 인코딩하거나 범주 수가 많은 컬럼을 제외하는 방법을 고려하는 것이 좋습니다.
참고할 만한 유사 질문입니다.
작업형2 모의문제 2번 질문이 있습니다.
원핫 인코딩으로 인해 컬럼 수와 실행 시간이 크게 증가한 사례와, 범주 수가 많은 경우 레이블 인코딩을 사용하는 방법을 설명하고 있습니다.원핫 인코딩 , 라벨인코딩 선택의 기준
시험 환경에서 원핫 인코딩과 레이블 인코딩을 선택하는 기준에 대한 강사님의 답변을 확인할 수 있습니다.빅데이터 분석기사 (2회): 기출유형-작업형2 질문
범주 수가 적을 때는 원핫 인코딩을 고려하고, 범주 수가 많을 때는 레이블 인코딩을 사용하는 기준이 정리되어 있습니다.
저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.
자치구 상점 수 합(12회)
0
10
0
불균형데이터 처리 전후 비교
0
16
1
레이블인코딩/원핫
0
20
1
인코딩
0
19
2
작업형 2 작업
0
27
2
ttest_rel() 관련 질문
0
26
2
작업형2. 인코딩에 대해 질문드립니다.
0
23
2
작업형3 2-3
0
32
1
코딩팡 2호선 전처리 종합 28번 중고 카메라 매입가 문제 최적화 질문드립니다.
0
27
1
8회 작업형2
0
25
2
작업형2 모의문제2 updated 2026.10
0
44
3
단순선형 회귀분석 신뢰구간,예측구간 관련질문
0
35
2
판다스 부분 강의 듣고 있는데..
0
41
2
코딩팡 Pro 등록방법 문의
0
43
1
'자동으로 저장할 수 없습니다. 이 파일은 원격으로 또는 다른 탭에서 업데이트되었습니다.'
0
28
2
random_state에 따른 최종스코어 점수차이
0
38
2
코랩 백엔드
0
60
3
xgboost 사용 시 오류 이유
0
43
2
작업형 2 제출하는 법
0
57
2
Section 5. 문자열 슬라이싱, 파생변수, 평균값 질문 드립니다.
0
42
1
예시문제 작업형2(ver. 2025)
0
55
2
수강 연장 문의드립니다.
0
47
2
예시문제 작업형2(ver. 2025)
0
52
2
작업형2 모의문제 3 질문
0
63
1





