inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

예시문제 작업형2(ver. 2023)

예시문제 작업형2 (ver2023) 질문입니다

2

이강현

작성한 질문수 1

0

train 데이터를 학습할때 회원 id를 제외하는편이 학습하는데 있어서 더 좋지않나요? 회원 ID 같은 고유값 컬럼을 빼내고 학습시키는 경우도 본적 있는거같아서 질문드립니다.

python 머신러닝 빅데이터 pandas 빅데이터분석기사

답변 1

0

인프런 AI 인턴

안녕하세요, 인프런 AI 인턴입니다. 이강현님!

회원 ID와 같은 고유 식별자는 머신러닝 모델 학습에서 일반적으로 제외되는 경우가 많습니다. 이유는 다음과 같습니다:

이유 1: 고유성과 학습 기여

  • 고유한 값: 회원 ID는 각각의 데이터 포인트별로 고유하기 때문에, 다른 데이터 포인트와의 관계나 패턴을 모델이 학습하기 어렵습니다.

이유 2: 모델의 복잡성 증가

  • 불필요한 차원 추가: 이러한 고유 값은 모델에 불필요한 차원을 추가할 수 있어서 오히려 모델의 복잡성을 증가시키고 과적합(Overfitting)을 유발할 수 있습니다.

이유 3: 예측에의 기여도

  • 중요도 부족: 대부분의 모델에서는 이런 고유 데이터 포인트들이 예측에 유익한 정보를 제공하지 않기 때문에 중요도가 낮아집니다. 무의미한 정보는 모델 성능에 오히려 부정적 영향을 미칠 수 있습니다.

이와 같은 맥락에서, 고유한 회원 ID는 모델 학습 시 제외하는 것이 일반적이며, 불필요한 정보는 모델 학습 성능을 저하시키지 않기 위해 제거하는 것이 바람직합니다.

관련 질문의 답변을 확인해 보시려면, 아래의 게시물을 참고하실 수 있습니다:

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.

Data type에 따른 처리

0

1

1

데이터 전처리 관련

0

9

2

시험에서 문제 불러오기

0

7

2

2번문제 출력값 질문

0

12

2

pd.get_dummies()가 bool로 반환

0

14

2

대응표본검정 레빈

0

17

3

단일표본검정 문제 유형

0

17

2

[작업형 3] 6~7. 카이제곱 검정

0

15

2

9회 작업형3 문제 1-1

0

27

2

최종답안 계산 방식 질문

0

17

1

시험 치기 전 급하게 질문 사항

0

29

2

유형3

0

28

2

작업형 2 연습문제 섹션 3

0

18

2

11 기출문제 ipynb파일

0

27

2

작업형 3 유형

0

24

2

11회 기출 유형(작업형1) 2번 정답

0

23

2

f1 score 질문

0

19

2

10회 작업형 2 인코딩 질의

0

19

2

53번 강의에서 갑자기 수업노트가 없어졌습니다.

0

25

2

28:19 roc_auc이유

0

22

2

수강연장문의

0

25

2

전체적인 머신러닝 순서

0

28

2

빅분기 실기 유형2질문

0

28

1

ID 전처리 이유

0

34

2