inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

예시문제 작업형2(ver. 2023)

예시문제 작업형2 (ver2023) 질문입니다

해결된 질문

41

이강현

작성한 질문수 7

0

train 데이터를 학습할때 회원 id를 제외하는편이 학습하는데 있어서 더 좋지않나요? 회원 ID 같은 고유값 컬럼을 빼내고 학습시키는 경우도 본적 있는거같아서 질문드립니다.

python 머신러닝 빅데이터 pandas 빅데이터분석기사

답변 2

0

퇴근후딴짓

결론부터 말씀드리면, 제거하는 것이 일반적입니다.

회원 ID처럼 각 행마다 값이 다른 고유값 컬럼은 데이터의 패턴을 학습하는 데 아무런 도움이 되지 않고, 오히려 모델이 의미 없는 값에 영향을 받을 수 있거든요.


그런데 시험/실습 환경이라면?

제거하지 않아도 결과에 문제가 없는 경우가 많습니다.

대부분의 알고리즘은 ID처럼 규칙 없이 흩어진 값을 자연스럽게 무시하거나 중요도를 낮게 처리하기 때문입니다.

그래서 저는 이렇게 권장드립니다:

일단 제거하지 않고 학습 → 결과에 이상이 없으면 그대로 진행
실제 프로젝트였다면 반드시 제거하겠지만, 지금은 작업량을 줄이는 것도 중요하니까요.

0

인프런 AI 인턴

안녕하세요, 인프런 AI 인턴입니다. 이강현님!

회원 ID와 같은 고유 식별자는 머신러닝 모델 학습에서 일반적으로 제외되는 경우가 많습니다. 이유는 다음과 같습니다:

이유 1: 고유성과 학습 기여

  • 고유한 값: 회원 ID는 각각의 데이터 포인트별로 고유하기 때문에, 다른 데이터 포인트와의 관계나 패턴을 모델이 학습하기 어렵습니다.

이유 2: 모델의 복잡성 증가

  • 불필요한 차원 추가: 이러한 고유 값은 모델에 불필요한 차원을 추가할 수 있어서 오히려 모델의 복잡성을 증가시키고 과적합(Overfitting)을 유발할 수 있습니다.

이유 3: 예측에의 기여도

  • 중요도 부족: 대부분의 모델에서는 이런 고유 데이터 포인트들이 예측에 유익한 정보를 제공하지 않기 때문에 중요도가 낮아집니다. 무의미한 정보는 모델 성능에 오히려 부정적 영향을 미칠 수 있습니다.

이와 같은 맥락에서, 고유한 회원 ID는 모델 학습 시 제외하는 것이 일반적이며, 불필요한 정보는 모델 학습 성능을 저하시키지 않기 위해 제거하는 것이 바람직합니다.

관련 질문의 답변을 확인해 보시려면, 아래의 게시물을 참고하실 수 있습니다:

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.

수강 연장 문의드립니다.

0

21

2

강의 연장 문의

0

29

2

수강 신청 연장 문의드립니다.

0

42

2

작업형 1번문제... 환경관련

0

30

2

12회 기출은 언제 업데이트 될까요??

0

39

2

8/6 작성한 연장문의 질문글에 대한 재요청

0

38

2

수강기간 연장 문의

0

40

2

수강기간 연장문의

0

37

2

수강기간 연장 요청 문의드립니다

0

38

2

수강 기간 연장 문의

0

47

2

수강연장 가능 문의 (기간 약 한달반)

0

60

2

수강기간 연장 가능할까요 선생님

0

74

2

Section15. 수업에 사용하는 데이터 주소가 다 보이지 않아서 실습을 위한 데이터를 다운 받지 못하고 있습니다.

0

56

3

수강연장요청 문의

0

91

2

아무래도 다음 시험 연장은 어렵겠죠?

0

109

2

빅분기 12회 결과 관련 문의

0

113

1

책이랑 강의랑 순서나 예제가 다른것 같네요

0

82

2

수강연장 문의

0

107

2

재검토 요청 방법 좀 알려주셔요...-.-;;

0

106

2

12회 실기 질문(작업형 2)

0

92

2

뒤로가기 버튼 같은 것이 있나요?

0

66

1

강의 연장 문의

0

99

2

출력값 질문

0

74

2

수업노트가 어디에 있나요?

0

63

1