inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

예시문제 작업형2(ver. 2023)

예시문제 작업형2 (ver2023) 질문입니다

해결된 질문

23

이강현

작성한 질문수 4

0

train 데이터를 학습할때 회원 id를 제외하는편이 학습하는데 있어서 더 좋지않나요? 회원 ID 같은 고유값 컬럼을 빼내고 학습시키는 경우도 본적 있는거같아서 질문드립니다.

python 머신러닝 빅데이터 pandas 빅데이터분석기사

답변 2

0

퇴근후딴짓

결론부터 말씀드리면, 제거하는 것이 일반적입니다.

회원 ID처럼 각 행마다 값이 다른 고유값 컬럼은 데이터의 패턴을 학습하는 데 아무런 도움이 되지 않고, 오히려 모델이 의미 없는 값에 영향을 받을 수 있거든요.


그런데 시험/실습 환경이라면?

제거하지 않아도 결과에 문제가 없는 경우가 많습니다.

대부분의 알고리즘은 ID처럼 규칙 없이 흩어진 값을 자연스럽게 무시하거나 중요도를 낮게 처리하기 때문입니다.

그래서 저는 이렇게 권장드립니다:

일단 제거하지 않고 학습 → 결과에 이상이 없으면 그대로 진행
실제 프로젝트였다면 반드시 제거하겠지만, 지금은 작업량을 줄이는 것도 중요하니까요.

0

인프런 AI 인턴

안녕하세요, 인프런 AI 인턴입니다. 이강현님!

회원 ID와 같은 고유 식별자는 머신러닝 모델 학습에서 일반적으로 제외되는 경우가 많습니다. 이유는 다음과 같습니다:

이유 1: 고유성과 학습 기여

  • 고유한 값: 회원 ID는 각각의 데이터 포인트별로 고유하기 때문에, 다른 데이터 포인트와의 관계나 패턴을 모델이 학습하기 어렵습니다.

이유 2: 모델의 복잡성 증가

  • 불필요한 차원 추가: 이러한 고유 값은 모델에 불필요한 차원을 추가할 수 있어서 오히려 모델의 복잡성을 증가시키고 과적합(Overfitting)을 유발할 수 있습니다.

이유 3: 예측에의 기여도

  • 중요도 부족: 대부분의 모델에서는 이런 고유 데이터 포인트들이 예측에 유익한 정보를 제공하지 않기 때문에 중요도가 낮아집니다. 무의미한 정보는 모델 성능에 오히려 부정적 영향을 미칠 수 있습니다.

이와 같은 맥락에서, 고유한 회원 ID는 모델 학습 시 제외하는 것이 일반적이며, 불필요한 정보는 모델 학습 성능을 저하시키지 않기 위해 제거하는 것이 바람직합니다.

관련 질문의 답변을 확인해 보시려면, 아래의 게시물을 참고하실 수 있습니다:

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.

작업형2 카테고리

0

7

1

110강 회귀_8번 문의

0

8

2

XGBRegressor 학습 시 warning 출력

0

11

2

데이터 프레임을 변경해도 되나요?

0

9

2

10회 기출 작업형3 문제 2-1 질문

0

14

2

작업형 2 질문

0

13

2

작업형 2 템플릿 확인 요청

0

12

2

작업형2 인코딩 질문

0

22

2

작업형 3 벼락치기 공부방법 질문

0

30

2

기출 11회 작업형 2_전체 데이터 학습 여부

0

31

2

예측값 결과 소수점 차이

0

28

2

기출 문제와 실전챌린지 연습문제 무엇부터 푸는게 나은가요?

0

34

1

전처리 train() test([ ])

0

23

2

작업형 1 배경지식 질문

0

32

2

옳게 풀은건지 질문드립니다!

0

22

1

roc_auc_score

0

29

2

추가질문 합니다

0

22

2

시험환경 구름

0

20

2

2유형 질문드려요

0

21

2

RandomForest vs lgb

0

28

2

전처리 관련질문

0

29

3

작업형3 기출

0

19

2

유형2에서 데이터분할 생략 가능여부

0

32

2

9회 기출 유형3 질문

0

21

2