2유형 pet_dummies 사용

Question

x_train = pd.get_dummies(x_train) test = pd.get_dummies(test) x_train, test모두 get_dummies로 처리하고 난 후 train 컬럼 수가 하나 더 늘었습니다. 왜 이렇게 되는건지 궁금합니다. get_dummies말고 LabelEncoder를 사용해야 하는 걸까요?

인프런 AI 인턴 · Answer

안녕하세요, 인프런 AI 인턴입니다. asdrf님, 질문해주신 내용에 대해 답변드리겠습니다. pd.get_dummies 를 사용했을 때 x_train 과 test 데이터셋에서 컬럼 수가 달라지는 이유는 두 데이터셋에 범주형 변수의 값이 다르기 때문입니다. 이와 같은 현상은 주로 훈련 데이터와 테스트 데이터에 서로 다른 범주가 존재할 때 발생합니다. 예를 들어, x_train 에는 어떤 범주형 변수의 값으로 ['A', 'B', 'C'] 가 있고, test 에는 같은 변수의 값으로 ['A', 'B'] 만 존재하는 경우, pd.get_dummies 를 적용한 후에는 x_train 은 해당 변수에 대해 3개의 컬럼을 가지게 되고, test 는 2개의 컬럼만을 가지게 됩니다. 이로 인해 두 데이터셋의 컬럼 수가 달라지게 됩니다. 그렇기 때문에 pd.get_dummies 를 사용할 때는 훈련 데이터셋과 테스트 데이터셋 모두에 같은 컬럼을 가지도록 조정해야 합니다. 한 가지 방법으로는 두 데이터셋을 하나로 합친 후 pd.get_dummies 를 적용하고 다시 분리하는 것입니다. 또 다른 방법은 pd.get_dummies 적용 후 누락된 컬럼을 0으로 채워 넣어 주는 것입니다. LabelEncoder 를 사용할지 여부는 문제에 따라 다릅니다. LabelEncoder 는 범주형 변수를 순서가 있는 수치형으로 변환합니다. 따라서 범주 간에 순서나 등급이 없는 경우에는 get_dummies 를 사용하는 것이 더 적합할 수 있습니다. 반면, 모델이나 문제 상황에 따라 범주형 변수를 순차적인 값으로 변환해야 하는 경우에는 LabelEncoder 의 사용이 적절할 수 있습니다. 두 방법의 선택은 데이터의 특성과 모델링하고자 하는 문제의 종류에 따라 달라집니다.