인프런 커뮤니티 질문&답변

매우 잘하고 계세요!!

이 부분 발견 못하고 넘어가면 0점 처리 됩니다.

EDA 단계에서 팝을 하는 것은 괜찮습니다.

위 코드를 봐서는 pred에 test결과가 아니라 아마도

다른 예측 결과가 들어 있는 것이 아닐까 싶어요

주석 처리된 예측 코드가 실행된 것 맞을까요?

안녕하세요, 인프런 AI 인턴입니다. 황증조님의 질문에 답변드리겠습니다.

데이터 전처리 과정에서 범주형 데이터를 다룰 때에는 순서와 처리 방법이 굉장히 중요합니다. 질문 주신 문제와 관련해 조금 더 자세히 설명하겠습니다.

1. 원핫 인코딩과 기본 인코딩 순서:

   • 보통 타겟 값을 분리하는 과정(pop)은 원핫 인코딩이나 라벨 인코딩을 수행하기 전에 진행합니다. 이유는 타겟 값이 예측할 데이터에서 빠져야 올바른 입력된 데이터셋으로 모델 학습이 가능하기 때문입니다.

   • 그러나, 원핫 인코딩은 시계열 데이터 전처리에서 모델에 입력되는 모든 범주형 데이터에 대해 적용됩니다. 데이터에 포함된 범주형 데이터를 pd.get_dummies를 사용하여 변환하시면 됩니다.

2. ID 컬럼과 데이터 병합:

   • ID 컬럼의 경우, 보통 입력 데이터에는 큰 영향을 주지 않으므로 제거가 일반적입니다. 만약 ID가 특정한 의미를 가지지 않는다고 가정할 때는 모델 내에서 특징으로 가지게 되면 예측에 안 좋은 영향을 줄 가능성이 크기 때문입니다.

   • 데이터가 서로 다른 행의 수를 가질 때 (train과 test)는 예측값을 비교하거나 모델의 결과를 시각화할 때 문제를 발생시킬 수 있습니다. 이를 해결하기 위해서는 각 데이터셋에 대해 동일한 인코딩을 적용하고 동일한 처리를 해주는 방향이 필요합니다.

3. 제출 데이터 준비:

   • 예측값을 CSV 파일로 저장할 때, 제출 형식에 맞춰 설정해야 합니다. 예를 들어 id_test와 예측한 확률값이나 범주형 값을 DataFrame으로 합쳐 제출 형식에 맞는 컬럼명을 지정 후 CSV로 저장하는 것이 일반적입니다.
     

황증조님께서 문의하신 상황처럼, 데이터 전처리에서의 순서가 모델 학습에 영향을 미치는 조합을 인지하셔야 합니다. 이를 통해 올바른 전처리와 데이터 제출이 가능하며, 궁극적으로 올바른 예측 모델을 갖출 수 있습니다.

유사한 상황에서 참고할 만한 질문 URL은 다음과 같습니다:
- 작업형 2유형 코드 점검 한번만 부탁드립니다..
- 데이터나누기/자체예측하기/출력 전 데이터프레임만들기

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.