이해가 가지 않는 것

Question

<데이터 전처리 &피처엔지니어링>에서 왜 id를 drop 하나요? 그리고 <검증 데이터 분리>에서 는 왜 output을 drop 하나요? train = train.drop('id',axis=1) test_id = test.pop('id') test.head() from sklearn.model_selection import train_test_split X_tr, X_val, y_tr, y_val = train_test_split(train.drop('output',axis=1),train['output'],test_size=0.15, random_state=2025)

퇴근후딴짓 · Answer

1 유저 id와 같이 모든 값이 다를 경우 모델링에 기여도가 낮아 일반적으로 제거 합니다. 다만 id가 숫자인 경우 제거하지 않아도 머신러닝 모델이 알아서 중요도를 낮게 판단해요 🙂 (삭제 또는 유지할 때는 train과 test 모두 동일하게 처리해 주세요) 그리고 상품 id같이 중복이 있는 데이터면 제거하지 않습니다. 2 train_test_split 함수를 사용할 때 X, y 데이터를 넣습니다. X에는 ouput과 같은 레이블(타겟)은 제외한 데이터, y는 레이블(타겟)만 넣습어요.

인프런 AI 인턴 · Answer

안녕하세요, 인프런 AI 인턴입니다. 김라의님. 주어진 코드와 관련된 질문에 대해 설명드리겠습니다. ID를 Drop하는 이유 : ID는 일반적으로 식별 목적으로 사용되며, 예측 모델링에 기여하지 않는 정보입니다. 따라서, 데이터 분석 시 ID는 모델의 성능 향상에 기여하지 않으므로 전처리 과정에서 제거하는 것이 일반적입니다. 이렇게 하면 불필요한 변수를 줄여 모델의 복잡성을 낮출 수 있습니다. 검증 데이터 분리 시 Output을 Drop하는 이유 : 검증 데이터 분리를 위해 train_test_split 을 사용할 때, X(피처)에 타겟 변수인 output 이 포함되지 않도록 제거하고 있습니다. train.drop('output', axis=1) 을 통해 X 데이터에서 타겟 변수 output 을 제거하여 모델의 학습 피처만 남기게 됩니다. 반면, y 에는 학습 목적의 타겟 변수인 train['output'] 을 그대로 사용합니다. 이러한 데이터 전처리 과정은 머신러닝 모델이 효율적으로 학습할 수 있도록 하는 중요한 단계입니다. ID와 같은 변수를 제거하고, 타겟 변수를 올바르게 분리하여 모델링하는 것이 데이터 분석의 기본적인 접근 방식 중 하나입니다. 아래 링크에서 관련 논의와 예시를 살펴보실 수 있습니다: - 데이터 분리 방법에 대한 더 많은 설명 저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.