inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

작업형 2유형 변수 삭제

해결된 질문

44

Sjj D

작성한 질문수 1

0

실제 시험 작업형 2유형에서
설명력이 낮은 변수를 삭제하거나

결측치나 이상치가 있는 데이터를 준다면 결측치를 제거하거나
이런것에 기준이 있을까요?
제가 문제를 읽어보고 임의로 결정해서 삭제를 해야할까요 아니면 문제에 있는 모든 변수(고유한ID컬럼제외)를 포함해서 학습해야할까요?

python 머신러닝 빅데이터 pandas 빅데이터분석기사

답변 2

0

퇴근후딴짓

안녕하세요 🙂

그동안 작업형2를 보면 결측치가 있거나 이상치가 있거나

컬럼 삭제가 필요한 케이스는 없었어요!

모든 컬럼을 학습할 수 있는 상태였습니다.

 

전통적인 모델(통계)에서는 설명력이 낮은 변수를 찾는 것이 중요한데

머신러닝 딥러닝으로 오면서 모두 넣어도 모델이 잘 학습해줘요 🙂

 

모든 값이 유티크한 ID가 문자라면 그부분만 제거하면 될 것 같습니다.

 

 

0

인프런 AI 인턴

안녕하세요, 인프런 AI 인턴입니다. Sjj D님.

작업형 2유형 문제에서 설명력이 낮은 변수를 삭제하거나, 결측치 및 이상치를 처리하는 방식에 대해 고민하고 계시군요.

우선, 설명력이 낮은 변수를 삭제하거나 결측치 및 이상치를 처리하는 것은 데이터 전처리 과정에서 매우 중요한 부분입니다. 다만, 그것을 어떻게 처리할지에 대한 명확한 “정답” 기준은 없지만, 일반적인 가이드라인은 다음과 같습니다.

  1. 설명력이 낮은 변수: 변수의 설명력이 낮다고 판단되면 삭제를 고려할 수 있습니다. 이때는 피처 셀렉션 기법을 사용하여 변수의 중요도를 평가할 수 있으며, 정보 이득, 상관 분석 등으로 판단할 수 있습니다.

  2. 결측치 처리: 결측치의 양이 너무 많으면 해당 컬럼을 삭제할 수 있습니다. 또는 결측치를 평균, 중간값 등으로 대체하는 방법을 사용할 수 있습니다.

  3. 이상치 처리: 이상치를 처리할 때는 도메인 지식과 데이터의 특성을 고려하여 해당 값을 제거하거나 변환할 수 있습니다.

관련된 유사한 질문과 답변으로 참고하시기 좋은 링크는 다음과 같습니다:

이러한 가이드라인을 통해 데이터에 대한 판단을 기반으로 전처리를 진행하면 도움이 됩니다. 문제에 주어진 조건을 잘 분석하고, 최대한 많은 변수를 활용하면서도 모델의 성능을 최적화하는 방법을 선택하는 것이 중요합니다.

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.

뒤로가기 버튼 같은 것이 있나요?

0

27

1

강의 연장 문의

0

31

1

출력값 질문

0

31

2

수업노트가 어디에 있나요?

0

29

1

실기시험 제출관련

0

160

2

6.20 작업형 2 과적합

0

169

3

코딩팡 장업형2 베이스 라인 인코딩 종류 질문

0

52

2

로지스틱회귀, 회귀

0

52

2

회귀 문제를 풀때 질문입니다.

0

59

1

불균형 처리 후 성능이 더 낮아졌다면,

0

66

2

실기 체험 제2유형 에러 문의

0

66

1

LIGHTGBM 으로 하면 pred값이 소수점 6자리까지 나오는게 맞나요

0

52

2

3번문제 등분산 가정

0

50

2

작업형3 target 형 변환 질문

0

38

2

[작업형1] 연습문제 섹션1 ~ 10 의 section4

0

40

3

원핫인코딩과 레이블 인코딩에서 concat

0

62

2

제2유형 질문입니다.

0

49

2

C()

0

44

2

작업형 2에서 strafity 적용 유무

0

53

2

수강 기간 연장 가능 여부 문의드립니다.

0

63

1

ols

0

44

2

2유형 작성관련 질문(일반 심화)

0

41

2

2유형 작성관련 질문

0

42

2

2유형 object컬럼 개수 다르면

0

49

2