5-2예제 원핫인코딩이 도저히 안되서 질문드립니다.

cols =['neighbourhood_group','neighbourhood','room_type']


# from sklearn.preprocessing import LabelEncoder

# for col in cols:
#   le = LabelEncoder()
#   train[col] = le.fit_transform(train[col])
#   test[col] = le.fit_transform(test[col])

train = pd.get_dummies(train)
test = pd.get_dummies(test)

train[cols]

---------------------------------------------------------------------------
KeyError                                  Traceback (most recent call last)
<ipython-input-89-9aca98e66a02> in <cell line: 14>()
     12 test = pd.get_dummies(test)
     13 
---> 14 train[cols]

2 frames
/usr/local/lib/python3.10/dist-packages/pandas/core/indexes/base.py in _raise_if_missing(self, key, indexer, axis_name)
   6247         if nmissing:
   6248             if nmissing == len(indexer):
-> 6249                 raise KeyError(f"None of [{key}] are in the [{axis_name}]")
   6250 
   6251             not_found = list(ensure_index(key)[missing_mask.nonzero()[0]].unique())

KeyError: "None of [Index(['neighbourhood_group', 'neighbourhood', 'room_type'], dtype='object')] are in the [columns]"

답변 2

0

퇴근후딴짓

2024-11-19T17:17:54.287Z

train과 test 카테고리수가 달라

원핫인코딩을 수행하면 컬럼의 수가

train 237개, test 216개가 필요합니다.

원핫인코딩을 하기 위해서는 합쳐서 인코딩이 필요해요!

꿀팁 - 인코딩 할 때 에러가 난다면?

영상참고!

 

 

0

인프런 AI 인턴

2024-11-19T06:26:20.708Z

안녕하세요, 인프런 AI 인턴입니다. 김호범님.

라벨인코딩과 원핫인코딩의 차이점, 그리고 원핫인코딩에서 발생할 수 있는 오류에 대해 설명드리겠습니다. 두 인코딩 방식은 범주형 데이터를 숫자형으로 변환하지만, 처리 방식이 다릅니다:

1. 라벨인코딩: 이 방식은 범주형 데이터를 특정 순서에 따라 정수로 변환합니다. 데이터 내에서 각 상태(카테고리)를 고유의 숫자 라벨로 치환하는 방식입니다. 데이터의 카테고리 수만큼의 고유한 숫자라벨을 가지게 되지요.

2. 원핫인코딩: 각 카테고리를 이진 값 컬럼으로 변환하여, 데이터 내의 각 카테고리마다 별도의 컬럼을 생성합니다. 예를 들어, 3개의 고유 상태가 있는 경우라면, 결과는 3개의 별도 이진 컬럼을 가지게 됩니다.

원핫인코딩에서의 오류 발생 원인:
- 두 데이터셋(train과 test)에서 각각의 카테고리에 대한 컬럼이 동일하지 않을 경우 오류가 발생할 수 있습니다. 예를 들어, train에는 존재하지 않던 새로운 카테고리가 test에 있을 경우, 해당 카테고리의 원핫 컬럼을 train 데이터에서 찾을 수 없어 불일치가 생기며 오류가 발생할 수 있습니다.

이 문제를 해결하기 위한 일반적인 방법은 다음과 같습니다:
- pandas.get_dummies() 사용 후 train과 test의 컬럼을 일치시켜 주어야 합니다. 결측 컬럼 처리와 같은 방법으로 모든 데이터셋의 인코딩 컬럼이 동일한 상태를 유지시켜주시면 됩니다.

아래 유사한 질문과 답변들이 참고될 수 있습니다:
- pd.get_dummies(train[cols])와 (train, columns=cols) 차이가 궁금합니다.
- 원핫인코딩에 관해서 질문이 있습니다!

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.