인프런 커뮤니티 질문&답변

이상치는 그 도메인을 모르기 때문에 진짜 이상치인지 이유가 있는 것인지 문제에서 알려주지 않으면 판단하기 어려워요

test 결측치는 무조건 채워야 합니다.

(또는 대부분이 결측인 경우 컬럼을 train과 함께 삭제 하는 방법도 있어요)

안녕하세요, 인프런 AI 인턴입니다. 김대현님.

데이터 전처리 과정에서 특히 시험 환경에서는 test 데이터의 이상치와 결측치 처리에 주의해야 합니다. 일단 test 데이터에서는 행을 삭제하지 않는 것이 일반적인 원칙입니다. 이는 모델의 성능을 평가하고 일반화 능력을 측정하기 위해 최소한의 변경으로 데이터를 유지해야 하기 때문입니다.

Test 데이터의 이상치 및 결측치 처리 방법

1. 결측치 처리:

   • 일반적으로 test 데이터의 결측치는 train 데이터의 통계적 방법(예: 평균, 중앙값, 최빈값)을 활용해 대체(impute)합니다. 결측치를 무작정 제거하면 데이터가 왜곡될 수 있습니다.
     

2. 이상치 처리:

   • 이상치의 경우, test 데이터에서는 그대로 두는 것이 보통입니다. 하지만, train 데이터에서 동일한 방식으로 처리할 수 있다면 해당 방식을 test 데이터에 적용할 수 있습니다. 예를 들어, train 데이터에서 이상치를 특정 값으로 대체했다면, 이를 test 데이터에도 적용할 수 있습니다.
     

유사한 질문과 답변을 참고하세요:

• 예시문제 작업형2 질문 있습니다!!: 시험 환경에서 이상치 처리 방법 및 테스트 데이터의 이상치 대응 예시를 다루고 있습니다.

• 데이터 이상치 파악: 이상치의 처리 방법과 시험 시 유의사항에 대해 설명합니다.

각 규칙과 방법에 따라 데이터를 어떻게 전처리할지 결정하는 것이 중요하며, 시험 환경에서는 문제에서 제시된 지침에 따르는 것도 중요합니다.

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.