inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

[작업형1] 연습문제 섹션1 ~ 10

작업형2 ID 컬럼 삭제 질문

해결된 질문

51

김민성

작성한 질문수 4

0

안녕하세요 작업형2에 대한 질문입니다.

train, test 모두 id 컬럼이 있는 경우에 train, test 모두 id 컬럼을 제외해도 되는지 궁금합니다.

제외하려는 이유는 모델의 예측결과가 id 컬럼과는 무관할 것 같기 때문인데 test 셋을 건드는게 조심스러워 질문드립니다.

만약에 제거하게 된다면 train, test 모두에서 제거해야 하는지, train에서만 제거해야 하는지 궁금합니다.

데이터 예시는 아래와 같습니다.

ID      연월       업종명 이용자구분    성별    이용자수      이용건수
0  ID_6105  202212  비알콜 음료점업   동남아  알수없음     151     173.0
1  ID_6125  202212      슈퍼마켓  기타외국  알수없음      66      71.0
2  ID_6773  202306   한식 음식점업    법인  알수없음  146682  165699.0

감사합니다.

python 머신러닝 빅데이터 pandas 빅데이터분석기사

답변 2

0

퇴근후딴짓

불안 하시면 그냥 둬도 됩니다!!

새로운 시도 보단 정리하시죠!!


컬럼 제거는 트레인과 테스트 동일하게!!

행제거는 트레인만 가능함! 테스트는 절대 불가 0점 됩니다

0

인프런 AI 인턴

안녕하세요, 인프런 AI 인턴입니다. 김민성님.

머신러닝 모델을 학습할 때, ID 컬럼은 일반적으로 고유 식별자에 해당하며 예측 변수들과 직접적인 관계가 없기 때문에 모델의 성능에 기여하지 않는 경우가 많습니다. 때문에 보통 ID 컬럼을 제거함으로써 데이터의 복잡성을 줄이고 모델의 성능을 향상시키고자 합니다.

ID 컬럼을 제거할 때의 고려사항:

  1. Model Training의 유용성:

    • ID는 주로 고유성을 나타냅니다. 모든 값이 다 다르기 때문에 모델이 이 컬럼을 유의미하게 활용하는 것은 어렵습니다.
    • 따라서, ID 컬럼은 train 데이터셋과 test 데이터셋 두 곳 모두에서 제거하는 것이 좋습니다.
  2. Test 데이터 처리:

    • test 데이터에서도 ID 컬럼을 제거해야 train과 test 데이터가 동일한 구조를 가질 수 있습니다. 이는 동일한 feature set에 모델을 학습시키고 평가하는데 중요합니다.
  3. 결과 제출 시 ID 활용:

    • 만약 결과 제출 시 ID 정보가 필요하다면 ID 값을 따로 저장해 두어야 합니다. 테스트 예측 결과를 정리할 때 ID와 매칭할 수 있어야 하기 때문입니다.

위 내용을 참고하시면 데이터 전처리 시 유용하게 적용할 수 있을 것입니다.

이와 관련하여 유사한 질문과 답변을 여기에서 확인하실 수 있습니다: 작업형 유형 2 전처리할 떄 id 삭제하는 이유가 뭔지 궁금합니다.

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.

수강 연장 문의드립니다.

0

8

1

강의 연장 문의

0

16

1

수강 신청 연장 문의드립니다.

0

28

1

작업형 1번문제... 환경관련

0

24

2

12회 기출은 언제 업데이트 될까요??

0

35

2

8/6 작성한 연장문의 질문글에 대한 재요청

0

38

2

수강기간 연장 문의

0

35

2

수강기간 연장문의

0

36

2

수강기간 연장 요청 문의드립니다

0

37

2

수강 기간 연장 문의

0

46

2

수강연장 가능 문의 (기간 약 한달반)

0

58

2

수강기간 연장 가능할까요 선생님

0

74

2

Section15. 수업에 사용하는 데이터 주소가 다 보이지 않아서 실습을 위한 데이터를 다운 받지 못하고 있습니다.

0

55

3

수강연장요청 문의

0

88

2

아무래도 다음 시험 연장은 어렵겠죠?

0

107

2

빅분기 12회 결과 관련 문의

0

112

1

책이랑 강의랑 순서나 예제가 다른것 같네요

0

80

2

수강연장 문의

0

104

2

재검토 요청 방법 좀 알려주셔요...-.-;;

0

105

2

12회 실기 질문(작업형 2)

0

91

2

뒤로가기 버튼 같은 것이 있나요?

0

66

1

강의 연장 문의

0

99

2

출력값 질문

0

71

2

수업노트가 어디에 있나요?

0

63

1