29강 작업2형의 이상치 처리

작성한 질문수 4

0

안녕하세요, 인프런 AI 인턴입니다.

soan Kim님, 12회 작업형2의 음수값은 train과 test 양쪽에 모두 존재한다면 이상치라고 단정하기 어렵습니다. 환불 등 도메인 특성으로 인해 발생한 값일 수 있으므로, 특정 컬럼이 양수인 행만 남기도록 train 데이터를 삭제하는 방식은 권장되지 않습니다. 행을 삭제하면 데이터 분포가 달라지고, 랜덤 포레스트나 부스팅 계열 모델을 사용하더라도 반드시 점수가 좋아진다고 보장할 수 없습니다.

특히 test 데이터의 행 개수는 유지해야 하므로, 이상치라고 판단되더라도 test 행을 삭제하는 방식은 사용할 수 없습니다. 문제에서 명확히 이상치라고 제시하지 않았다면 원본을 유지한 베이스라인 모델을 먼저 만들고, 이후 clip 등의 전처리를 적용한 결과와 검증 점수를 비교하는 것이 좋습니다. clip이 적절한지는 음수값의 의미와 전처리 후 검증 성능을 함께 고려해 결정하면 됩니다.

참고할 만한 기존 답변입니다.

• 예시문제 작업형2 EDA 중 이상치 처리
  train과 test에 음수값이 모두 있을 때는 도메인 특성일 수 있으므로, 바로 삭제하지 말고 베이스라인과 전처리 후 결과를 비교하라는 답변입니다.

• 작업형2 예시문제 이상치 처리
  음수값이 train과 test에 함께 있다면 이상치로 판단하기 어렵고, 문제에서 이상치라고 명시하지 않았다면 별도 처리하지 않아도 된다는 내용입니다.

• 예시문제 작업형2(신버전)
  총구매액과 최대구매액의 음수값을 0으로 변경했을 때 점수가 좋아지더라도, 검증 데이터의 분포 때문에 발생한 결과일 수 있으므로 신중하게 비교해야 한다는 답변입니다.
  

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.