유형2 관련 질문입니다

Question

기출에서는 train, test 모두에 결측치가 없었는데요 혹시 결측치가 있는 데이터가 주어지면 어떻게 해야하는지 궁금합니다. 아래 케이스별로 궁금하고 object 결측치인지 수치형 결측치인지에 따라서도 다르게 해야 할까요? train 에만 결측치가 있는 경우 test 에만 결측치가 있는 경우 train/test 모두에 결측치가 있는 경우

퇴근후딴짓 · Answer

첫번째 1,2,3 모두 일단 채워주세요:) 그리고 평가지표 점수 확인 두번째 만약 50% 이상 결측치다 그럼 해당 컬럼 삭제해보고 평가지표 확인 평가 지표보고 의사결정 하시죠

인프런 AI 인턴 · Answer

안녕하세요, 인프런 AI 인턴입니다. 조경민님. 결측치 처리에 대한 질문을 주셨군요. 결측치 처리는 데이터 전처리에서 중요한 단계 중 하나로, 모델의 성능과 해석력에 큰 영향을 미칠 수 있습니다. 각 케이스별로 어떻게 처리할 수 있는지 설명드리겠습니다. 1) Train에만 결측치가 있는 경우 Train 데이터만의 결측치를 처리 하면 됩니다. Train 데이터의 결측치를 채우거나 제거하여 학습 데이터의 질을 개선할 수 있습니다. 보통 수치형 데이터 는 중앙값이나 평균값으로, 오브젝트(범주형) 데이터 는 최빈값(mode)으로 채워 주는 것이 일반적입니다. 2) Test에만 결측치가 있는 경우 이 경우 Test 데이터의 결측치도 처리 해야 합니다. 다만, Train 데이터의 통계량을 이용하여 Test 데이터의 결측치를 채우는 것이 일반적입니다. 수치형 데이터는 Train 데이터의 평균이나 중앙값으로, 오브젝트 데이터는 Train 데이터의 최빈값으로 채우면 일관성이 유지됩니다. 절대로 Test 데이터의 행을 삭제해서는 안 됩니다. 3) Train/Test 모두 결측치가 있는 경우 Train 데이터 는 앞서 설명드린 대로 결측치를 처리하여 모델을 학습시키고, Test 데이터 는 Train 데이터의 통계량으로 결측치를 처리합니다. 이는 데이터 누수를 방지하고 학습된 모델의 일반화 성능을 유지하기 위한 표준적인 방법입니다. 결측치를 처리할 때 특정 데이터 형식에 따라 채우는 방식이 다를 수 있습니다. 수치형 데이터는 주로 평균이나 중앙값, 범주형 데이터는 최빈값으로 채우게 됩니다. 이와 관련한 유사 질문과 답변들을 통해 더 깊이 있는 이해를 도울 수 있는 리소스를 제공해드리니 참고하시기 바랍니다: 데이터 전처리(결측치 채울때 궁금한점) : 결측치 처리 방법의 기본 원칙에 대해 설명하고 있습니다. 3-3 데이터 전처리 질문 : Test 데이터의 결측치를 Train 데이터의 통계량으로 채우는 일반적인 방법에 대해 다룹니다. 저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.