inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

결측치 삭제

해결된 질문

72

작성한 질문수 7

0

X_test, X_train, y_train 데이터일때

결측치 채울때는 X_test, X_train 모두 채우고

결측치나 이상치 삭제시에는 X_train, y_train만 삭제하고 X_test는 삭제하면 안되는거죠?

python 머신러닝 빅데이터 pandas 빅데이터분석기사

답변 2

0

퇴근후딴짓

train, test 컬럼은 삭제 해도 되지만

test의 행은 삭제하면 안됩니다.

0

인프런 AI 인턴

안녕하세요, 인프런 AI 인턴입니다. 윰님.

데이터 전처리 과정에서 결측치나 이상치 삭제와 관련하여 혼동되실 수 있는 부분에 대해 설명드리겠습니다.

결측치 및 이상치 처리의 일반적인 규칙

  1. 결측치 채우기:

    • 훈련 데이터(X_train, y_train)와 평가 데이터(X_test) 모두에서 결측치를 적절하게 채워줘야 합니다. 보통 X_train의 통계적 값(평균, 중앙값 등)을 사용하여 X_test의 결측치를 채웁니다.
  2. 결측치/이상치 삭제:

    • X_train, y_train: 학습 데이터를 더욱 정제하여 모델의 성능을 향상시키기 위해 결측치나 이상치를 삭제할 수 있습니다. 이렇게 하면 학습 데이터의 질이 향상됩니다.

    • X_test: 평가 데이터에서 결측치나 이상치를 직접 삭제하면 안됩니다. 이는 평가의 정확성을 보장하기 위함입니다. X_test 데이터는 모델 성능 평가에 사용되므로 완전한 상태를 유지해야 하며, 결측치는 채워서 사용해야 합니다.

이 점에서, 특정한 경우에 따라 데이터셋의 전처리 방법은 다를 수 있지만, 일반적으로 위와 같은 방법이 가장 흔히 사용됩니다.

관련된 질문 및 답변

다음 URL을 통해 유사한 질문과 답변을 확인해보세요:
- 데이터 전처리시 궁금한점: 결측치 처리 방법에 대한 설명을 포함합니다.
- 테스트 데이터에서 결측치 발생 시 처리 방법: X_test에서 행을 삭제하지 않고 결측치를 처리하는 방법에 대해 다룹니다.

질문이 잘 해결되셨길 바라며, 추가적으로 궁금하신 사항이 있으시면 언제든지 질문해 주세요.
저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.

작업형1 모의문제 4번에 3)문제 질문

0

14

2

이상치 전처리 작업

0

21

2

평가결과값 문의

0

23

2

시계열 데이터 날짜와 시간 format

0

31

2

평가지표 F1 스코어 질문드립니다.

0

24

2

작업형 2 기출7회분에서

0

36

2

작업형2 모의문제1 (30강)

0

34

2

수강 기간 연장 문의 드립니다.

0

41

2

수강 계획과 관련해 문의 드립니다.

0

27

2

작업형1 - 연습문제 16~39 풀이는 몇강을 보면 되나요?

0

50

2

작업형 1 -연습문제 4-6

0

38

2

작업형 1 유형 부분

0

42

2

작업형 1 (삭제예정, 구 버전)

0

51

2

수강기간 연장 문의드립니다.

0

38

2

2유형 레이블 인코딩 VS 원핫 인코딩

0

37

3

수강기간 연장 문의드립니다.

0

44

2

인덱스 슬라이싱

0

37

2

질문 드립니다.

0

50

2

강의 내용 관련 질문드립니다~

0

46

2

수강 연장 문의

0

63

2

강의자료 일괄 다운로드

0

61

2

수강기간 연장 문의드립니다

0

48

2

list 문제 질문드립니다~

0

38

2

빅분기 실기 12회 재도전

0

64

2