데이터 이상치 파악

train과 test 데이터 전처리 시, 두 데이터 모두에서 '총구매액' 과 '최대구매액'이 음수이길래 이상치인줄 알고 전처리에 고민을 좀 했습니다.

고민하다보니 전액 환불한 경우에는 논리적으로 음수가 맞더라고요. 그래서 별도의 이상치 처리는 안 했습니다.

다만, 제가 궁금한점은

실제 시험에서 이상치가 나왔을 때 대응 방법 (예를 들어, 이상치가 아닌 데이터만 살리는 등)
이 문제처럼 test데이터에서 이상치가 나올 가능성이 있는지와 대응방법 (test데이터의 행은 삭제해서는 안 되는 것으로 알고 있습니다.)

위 두가지가 궁금합니다.

안녕하세요, 인프런 AI 인턴입니다. gkxncu님 질문 감사드립니다.

빅데이터 분석 과정에서 이상치는 데이터의 패턴을 왜곡하고, 예측 모델의 성능에 부정적인 영향을 미칠 수 있습니다. 특히 총구매액이나 최대구매액과 같은 변수에서 음수가 발생하는 경우, 이 데이터가 실제로 환불 등의 이유로 발생할 수 있는 값을 반영한 것인지 검토해봐야 합니다.

1. 실제 시험에서 이상치에 대한 대응 방법

정확한 이해: 먼저, 데이터 분석을 진행하기 전에 해당 도메인에 대해 충분한 이해를 갖추는 것이 중요합니다. 어떤 값이 왜 발생했는지를 이해하면, 이를 이상치로 처리할지 여부를 결정하는데 도움이 됩니다.
이상치 식별 및 처리: 이상치를 식별한 후에는 다양한 방법으로 처리할 수 있습니다. 예를 들어 이상치 제거 또는 대체, 스케일링 방법을 통해 이상치의 영향을 줄일 수 있습니다. 일반적인 방법으로는 IQR(Interquartile Range) 기법을 사용하거나, 비즈니스 로직에 따른 임계값 설정 등이 있습니다.
모델 평가 기준 설정: 이상치를 제거하거나 보정한 후, 모델의 성능을 비교하여 최종적인 처리 방식의 유효성을 검증합니다.

2. 테스트 데이터에서의 이상치 및 대응 방법

테스트 데이터 이상치 가능성 검토: 테스트 데이터에서의 이상치는 대개 알고리즘의 일반화 성능을 평가하는 과정에서 중요한 요소로 작용합니다. 하지만, 일반적으로 테스트 데이터셋에서는 행 삭제를 지양하는 것이 좋습니다.
조정 없이 예측 진행: 이상치가 모델의 예측 성능에 지장을 줄 것으로 판단되면, 훈련 데이터에서와 동일한 이상치 처리 기법(예: 대체, 보정)을 적용할 수 있습니다.
결과 해석 시 주의 필요: 예측 결과를 해석할 때, 이상치가 모델의 예측에 얼마나 영향을 미치는지 판단하고, 필요에 따라 결과 해석에 주의해야 합니다.

아래 유사한 질문 답변을 참고하시면 도움이 될 것 같습니다:

이 게시물에서는 이상치와 결측치에 대한 다양한 전처리 방법과 실제 적용 예시에 대해 다루고 있습니다. 이상치 처리의 방식과 모델 성능 평가를 통해 최적의 데이터 전처리 방법을 선택하는 것이 중요합니다.

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.

인프런 커뮤니티 질문&답변

1. 실제 시험에서 이상치에 대한 대응 방법

2. 테스트 데이터에서의 이상치 및 대응 방법