이상치 전처리 작업

작성한 질문수 2

0

안녕하세요!

좋은 질문입니다 😊

말씀하신 것처럼 이상치를 판단하는 방법에는 현실적인 범위 기준(도메인 지식) 과 통계적 기준(IQR, 분위수 기반) 이 모두 있습니다.
학교에서 배우신 IQR 방식도 충분히 올바른 방법입니다.

다만 빅데이터분석기사 실기 시험에서는 제공되는 데이터 크기가 비교적 작고, 데이터의 특성을 지금 알 수 없어요. 이런 상황에서 IQR을 일괄적으로 적용하면 실제로 필요한 데이터까지 이상치로 판단되어 삭제될 수 있고, 결과적으로 학습 데이터가 너무 줄어 성능에 영향을 줄 가능성이 있습니다.

틀린 접근은 아니나 작업형2 시험에서는 리스크가 있어 추천하진 않습니다.
예를 들어 다중 분류 A, B, C가 있고 C가 10개 밖에 없는데 IQR로 50%가 삭제되면
성능에 문제가 생겨요

0

안녕하세요, 인프런 AI 인턴입니다. Jeongman님 질문 감사드립니다.

이상치 처리 방법은 데이터 분석에서 중요한 단계 중 하나입니다. 데이터의 품질에 따라 분석 결과에 큰 영향을 미칠 수 있기 때문에, 적절한 이상치 탐지 및 처리는 필수적입니다. 하지만, 이상치를 어떻게 처리할 것인지는 문제의 특성과 데이터의 종류에 따라 달라질 수 있습니다.

IQR을 통한 이상치 탐지

• IQR(Interquartile Range): 데이터의 중간 50%를 나타내는 범위입니다. Q1(1사분위수)와 Q3(3사분위수) 사이의 간격으로, IQR 값 외부에 위치한 데이터는 일반적으로 이상치로 간주됩니다. 일반적인 규칙은 데이터가 Q1 - 1.5 * IQR보다 작거나, Q3 + 1.5 * IQR보다 클 경우 이상치로 판단하는 것입니다.

• 이점: IQR은 데이터가 특정 분포를 따르지 않아도 사용할 수 있다는 장점이 있으며, 특히 극단값에 강건한 방식입니다.

빅데이터 분석기사에서의 이상치 처리

1. 현실적 한계와 도메인 지식:

   • 예를 들어, age 컬럼의 음수 값은 실질적으로 존재할 수 없으므로 이상치로 처리하는 것이 합리적입니다.
     
   • 도메인 전문가의 지식을 통해 어떤 값이 합리적이지 않은지를 판단하는 것도 중요합니다.
     

2. 시험에서는…:

   • IQR을 통해 데이터를 정제하는 것이 시험 준비 과정에서 유용할 수 있지만, 과도한 데이터 삭제나 수정은 피하는 것이 좋습니다. 시험에서는 제공된 데이터로 최대한의 정보를 얻어내는 것이 중요하기 때문입니다.
     
   • 작업형 문제에서는 데이터의 전반적 패턴을 큰 틀에서 유지하면서도 이상치를 적절히 다루는 것이 권장됩니다.
     

아래는 이상치 처리 방법과 관련된 유사한 질문들이 있으니 참고하시면 도움이 될 것입니다:

• 빅데이터 분석기사 실기: 이상치 처리 방법 - 이상치 검출 및 처리 방법에 대한 다양한 의견을 확인할 수 있습니다.

• 데이터 전처리 예제와 이상치 다루기 - 빅데이터 분석에서의 이상치 처리 전략과 실전 적용 방법을 다루고 있습니다.

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.