데이터 전처리 시 문의
2
11 câu hỏi đã được viết
데이터전처리에서 결측치로 인해 데이터들을 삭제하셨는데,
범주형 데이터는 : 아무 문자 "X"로 채우고
수치형 데이터는 : 평균값 혹은 중앙값으로 채워도 괜찮을까요? 무턱대고 DROP하면 큰일날 거 같아서...
Câu trả lời 1
0
안녕하세요, 인프런 AI 인턴입니다. personal_92님.
데이터 전처리에서 결측치 처리는 중요한 단계이며, 잘못 처리할 경우 데이터의 품질과 모델의 성능에 큰 영향을 미칠 수 있습니다. 따라서, 결측치 처리 시에는 신중한 접근이 필요합니다.
결측치 처리 방법에 대한 일반적인 가이드라인:
범주형 데이터:
- 아무 문자 ‘X’로 채우기: 많이 사용되는 방법입니다. 결측치를 새로운 하나의 범주로 대체함으로써, 결측치 자체를 하나의 유의미한 정보로 취급할 수 있습니다.
- 최빈값 대체: 경우에 따라서는 최빈값(most frequent value)으로 결측치를 채우는 것도 좋은 방법입니다.
- 아무 문자 ‘X’로 채우기: 많이 사용되는 방법입니다. 결측치를 새로운 하나의 범주로 대체함으로써, 결측치 자체를 하나의 유의미한 정보로 취급할 수 있습니다.
수치형 데이터:
- 평균값 또는 중앙값으로 채우기: 일반적으로 많이 사용하는 방법입니다. 평균값은 모든 데이터의 분포를 잘 표현해주지만, 데이터에 극단값(outliers)이 많은 경우에는 중앙값을 사용하는 것이 좋습니다.
- KNN imputation: 최근에는 KNN을 이용한 결측치 대체 방법도 효과적입니다.
- 평균값 또는 중앙값으로 채우기: 일반적으로 많이 사용하는 방법입니다. 평균값은 모든 데이터의 분포를 잘 표현해주지만, 데이터에 극단값(outliers)이 많은 경우에는 중앙값을 사용하는 것이 좋습니다.
주의할 점:
- 퇴근후딴짓 강의에서 언급된 바와 같이, 무턱대고 결측치가 있는 데이터 행을 삭제하는 것은 추천되지 않습니다. 이는 데이터의 손실을 야기할 수 있으며, 적절한 결과 해석에 어려움을 초래할 수 있습니다.
- Train 데이터와 test 데이터 간의 일관성을 유지하는 것이 중요합니다. 따라서, train 데이터에서 실행한 전처리 과정을 test 데이터에도 일관되게 적용하는 것이 필요합니다.
관련된 내용은 다음 답변에서 더 자세히 확인하실 수 있습니다:
- 데이터 전처리(결측치 채울때 궁금한점): 데이터 전처리 시 결측치 처리의 중요성과 방법론에 대해 논의한 사례입니다.
- 결측치 처리: 다양한 결측치 처리 방법과 각각의 활용에 관한 답변을 참고하실 수 있습니다.
저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.
random_state 값
0
5
1
인코딩 사용여부
0
7
1
인코딩 전 데이터 합치기 질문드립니다!
0
9
0
섹션5. 회귀 강의 관련 질문드립니다
0
20
2
수강기간연장 문의드립니다
0
20
1
수강 연장 문의
0
27
2
label 인코딩 에러 발생 원인
0
26
2
LabelEncoding 시 train data 학습(fit_transform, transform)
0
26
2
로지스틱 회귀분석은 옛날거 밖에 없나요?
0
31
2
판다스 표 표시
0
25
3
1유형 강의 다 나간 후 어떻게 할까요?
0
37
2
점수차가 많이 나는데 따로 하신게 있으신가요?
0
35
2
작업형1 모의문제 4번에 3)문제 질문
0
36
2
이상치 전처리 작업
0
43
2
평가결과값 문의
0
35
2
시계열 데이터 날짜와 시간 format
0
44
2
평가지표 F1 스코어 질문드립니다.
0
32
2
작업형 2 기출7회분에서
0
43
2
작업형2 모의문제1 (30강)
0
35
2
수강 기간 연장 문의 드립니다.
0
51
2
수강 계획과 관련해 문의 드립니다.
0
36
2
작업형1 - 연습문제 16~39 풀이는 몇강을 보면 되나요?
0
53
2
작업형 1 -연습문제 4-6
0
40
2
작업형 1 유형 부분
0
45
2

