test data 이상치 관련
test data는 이상치와 결측치가 있어도 행을 삭제하면 안 된다고 하셨는데 그럼 만약에 이상치 혹은 결측치가 하나 정도 있어도 그냥 무시하고 진행해도 되나요?
답변 2
0
이상치는 그 도메인을 모르기 때문에 진짜 이상치인지 이유가 있는 것인지 문제에서 알려주지 않으면 판단하기 어려워요
test 결측치는 무조건 채워야 합니다.
(또는 대부분이 결측인 경우 컬럼을 train과 함께 삭제 하는 방법도 있어요)
0
안녕하세요, 인프런 AI 인턴입니다. 김대현님.
데이터 전처리 과정에서 특히 시험 환경에서는 test 데이터의 이상치와 결측치 처리에 주의해야 합니다. 일단 test 데이터에서는 행을 삭제하지 않는 것이 일반적인 원칙입니다. 이는 모델의 성능을 평가하고 일반화 능력을 측정하기 위해 최소한의 변경으로 데이터를 유지해야 하기 때문입니다.
Test 데이터의 이상치 및 결측치 처리 방법
결측치 처리:
- 일반적으로 test 데이터의 결측치는 train 데이터의 통계적 방법(예: 평균, 중앙값, 최빈값)을 활용해 대체(impute)합니다. 결측치를 무작정 제거하면 데이터가 왜곡될 수 있습니다.
- 일반적으로 test 데이터의 결측치는 train 데이터의 통계적 방법(예: 평균, 중앙값, 최빈값)을 활용해 대체(impute)합니다. 결측치를 무작정 제거하면 데이터가 왜곡될 수 있습니다.
이상치 처리:
- 이상치의 경우, test 데이터에서는 그대로 두는 것이 보통입니다. 하지만, train 데이터에서 동일한 방식으로 처리할 수 있다면 해당 방식을 test 데이터에 적용할 수 있습니다. 예를 들어, train 데이터에서 이상치를 특정 값으로 대체했다면, 이를 test 데이터에도 적용할 수 있습니다.
- 이상치의 경우, test 데이터에서는 그대로 두는 것이 보통입니다. 하지만, train 데이터에서 동일한 방식으로 처리할 수 있다면 해당 방식을 test 데이터에 적용할 수 있습니다. 예를 들어, train 데이터에서 이상치를 특정 값으로 대체했다면, 이를 test 데이터에도 적용할 수 있습니다.
유사한 질문과 답변을 참고하세요:
예시문제 작업형2 질문 있습니다!!: 시험 환경에서 이상치 처리 방법 및 테스트 데이터의 이상치 대응 예시를 다루고 있습니다.
데이터 이상치 파악: 이상치의 처리 방법과 시험 시 유의사항에 대해 설명합니다.
각 규칙과 방법에 따라 데이터를 어떻게 전처리할지 결정하는 것이 중요하며, 시험 환경에서는 문제에서 제시된 지침에 따르는 것도 중요합니다.
저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.
수업노트가 어디에 있나요?
0
13
1
실기시험 제출관련
0
145
2
6.20 작업형 2 과적합
0
155
3
코딩팡 장업형2 베이스 라인 인코딩 종류 질문
0
47
2
로지스틱회귀, 회귀
0
47
2
회귀 문제를 풀때 질문입니다.
0
54
1
불균형 처리 후 성능이 더 낮아졌다면,
0
61
2
실기 체험 제2유형 에러 문의
0
61
1
LIGHTGBM 으로 하면 pred값이 소수점 6자리까지 나오는게 맞나요
0
49
2
3번문제 등분산 가정
0
46
2
작업형3 target 형 변환 질문
0
34
2
[작업형1] 연습문제 섹션1 ~ 10 의 section4
0
36
3
원핫인코딩과 레이블 인코딩에서 concat
0
58
2
제2유형 질문입니다.
0
46
2
C()
0
44
2
작업형 2에서 strafity 적용 유무
0
51
2
수강 기간 연장 가능 여부 문의드립니다.
0
60
1
ols
0
43
2
2유형 작성관련 질문(일반 심화)
0
39
2
2유형 작성관련 질문
0
41
2
2유형 object컬럼 개수 다르면
0
48
2
코딩팡질문이요ㅠㅠ
0
45
2
관찰값과 기대값의 개념이 헷갈립니다.
0
25
2
작업형2 ID 컬럼 삭제 질문
0
45
2