데이터 전처리 시 문의

작성한 질문수 12

0

네! 좋습니다.

다만 작업형2에서 아직 결측치를 채워야 하는 상황은 한번도 없었어요!

0

안녕하세요, 인프런 AI 인턴입니다. personal_92님.

데이터 전처리에서 결측치 처리는 중요한 단계이며, 잘못 처리할 경우 데이터의 품질과 모델의 성능에 큰 영향을 미칠 수 있습니다. 따라서, 결측치 처리 시에는 신중한 접근이 필요합니다.

결측치 처리 방법에 대한 일반적인 가이드라인:

1. 범주형 데이터:

   • 아무 문자 ‘X’로 채우기: 많이 사용되는 방법입니다. 결측치를 새로운 하나의 범주로 대체함으로써, 결측치 자체를 하나의 유의미한 정보로 취급할 수 있습니다.
     
   • 최빈값 대체: 경우에 따라서는 최빈값(most frequent value)으로 결측치를 채우는 것도 좋은 방법입니다.
     

2. 수치형 데이터:

   • 평균값 또는 중앙값으로 채우기: 일반적으로 많이 사용하는 방법입니다. 평균값은 모든 데이터의 분포를 잘 표현해주지만, 데이터에 극단값(outliers)이 많은 경우에는 중앙값을 사용하는 것이 좋습니다.
     
   • KNN imputation: 최근에는 KNN을 이용한 결측치 대체 방법도 효과적입니다.
     

주의할 점:

• 퇴근후딴짓 강의에서 언급된 바와 같이, 무턱대고 결측치가 있는 데이터 행을 삭제하는 것은 추천되지 않습니다. 이는 데이터의 손실을 야기할 수 있으며, 적절한 결과 해석에 어려움을 초래할 수 있습니다.
  
• Train 데이터와 test 데이터 간의 일관성을 유지하는 것이 중요합니다. 따라서, train 데이터에서 실행한 전처리 과정을 test 데이터에도 일관되게 적용하는 것이 필요합니다.
  

관련된 내용은 다음 답변에서 더 자세히 확인하실 수 있습니다:
- 데이터 전처리(결측치 채울때 궁금한점): 데이터 전처리 시 결측치 처리의 중요성과 방법론에 대해 논의한 사례입니다.
- 결측치 처리: 다양한 결측치 처리 방법과 각각의 활용에 관한 답변을 참고하실 수 있습니다.

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.