inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

데이터 전처리 IQR 이렇게 해도 되나요?

해결된 질문

398

sychang2000

작성한 질문수 15

0

cols = list(X_train.columns[X_train.dtypes != object])
cols

for col in cols:
  Q1 = X_train[col].quantile(.25)
  Q3 = X_train[col].quantile(.75)
  IQR = Q3-Q1
  min_iqr = Q1 - 1.5*IQR
  max_iqr = Q3 + 1.5*IQR
  cnt_before = sum((X_train[col] < min_iqr) | (X_train[col] > max_iqr)) # (X_train[col] < min_iqr) | (X_train[col] > max_iqr), 주어진 조건 둘 중 하나라도 만족, 이상치를 나타내는 값을 선택하는 조건
  print(f'{col}의 이상치 처리 전 이상치 개수: {cnt_before}개 입니다.') # f 접두사를 사용하여 문자열 안에서 중괄호 {} 안에 변수나 표현식을 넣을 수 있음
    
  X_train = X_train[(X_train[col] >= min_iqr) & (X_train[col] <= max_iqr)] # (X_train[col] >= min_iqr) & (X_train[col] <= max_iqr), 주어진 조건 둘 다 만족, 이상치를 제외한 정상 범위의 데이터를 선택하는 조건
    
  cnt_after = sum((X_train[col] < min_iqr) | (X_train[col] > max_iqr))
  print(f'{col}의 이상치 처리 후 이상치 개수: {cnt_after}개 입니다.')

python 머신러닝 빅데이터 pandas 빅데이터분석기사

답변 1

0

퇴근후딴짓

작업형2에서 데이터 전처리를 IQR로 해도 되는지를 물어보는거죠?
(어떤 강의에서 질문이 나왔는지 확인이 안되서 정확히 파악을 못하겠습니다 🙌)
실제 데이터에서 IQR활용시 너무 많은 데이터가 삭제 되기도 합니다.
데이터에 따라 성능이 더 떨어질 수도 있고요~~

작업형2 데이터가 공개된 것이 아니므로 상황에 따라 달라지겠지만
경험상 위 전처리를 추천하진 않아요!
이상치 제거는 일단 생략하고 진행한 다음 제출을 1차, 2차 하고나서
여유가 있다면 한번쯤 시도하길 추천 해요

만약 작업형1을 묻는 것이라면 결과(정답)가 동일하면 방법은 코드는 다르게 해도 좋습니다.
작업형1은 정답이 있는 문제입니다

뒤로가기 버튼 같은 것이 있나요?

0

31

1

강의 연장 문의

0

36

1

출력값 질문

0

33

2

수업노트가 어디에 있나요?

0

33

1

실기시험 제출관련

0

164

2

6.20 작업형 2 과적합

0

171

3

코딩팡 장업형2 베이스 라인 인코딩 종류 질문

0

56

2

로지스틱회귀, 회귀

0

53

2

회귀 문제를 풀때 질문입니다.

0

60

1

불균형 처리 후 성능이 더 낮아졌다면,

0

67

2

실기 체험 제2유형 에러 문의

0

67

1

LIGHTGBM 으로 하면 pred값이 소수점 6자리까지 나오는게 맞나요

0

53

2

3번문제 등분산 가정

0

51

2

작업형3 target 형 변환 질문

0

39

2

[작업형1] 연습문제 섹션1 ~ 10 의 section4

0

41

3

원핫인코딩과 레이블 인코딩에서 concat

0

63

2

제2유형 질문입니다.

0

50

2

C()

0

45

2

작업형 2에서 strafity 적용 유무

0

56

2

수강 기간 연장 가능 여부 문의드립니다.

0

64

1

ols

0

45

2

2유형 작성관련 질문(일반 심화)

0

42

2

2유형 작성관련 질문

0

43

2

2유형 object컬럼 개수 다르면

0

50

2