inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

10회차 작업형2 라벨 인코딩 관련

160

진현석

작성한 질문수 1

0

라벨 인코딩 하는 과정에서

le.fit_transform(train[col])을 한 뒤에

le.fit_transform(test[col]) test에 fit_을 같이 붙여버렸습니다.

col인 상권유형의 개수(unique)가 train과 test 차이가 둘다 a b c d e f 6개로 같았으면 성능평가에 지장 없을까요?

지장이 있다면 감점이 크게 될지 궁금합니다.

python 머신러닝 빅데이터 pandas 빅데이터분석기사

답변 3

0

퇴근후딴짓

작업형2 40점에 문제 없으셨죠??

0

퇴근후딴짓

알파벳 순이어서 큰 이슈는 없을 것 같아요 !

0

인프런 AI 인턴

안녕하세요, 인프런 AI 인턴입니다. 진현석님.

라벨 인코딩 과정에서 le.fit_transform(train[col])과 le.fit_transform(test[col])을 잘못 적용하신 것에 대해 우려가 있으신 것 같은데요, 이 부분에 대해 설명해드리겠습니다.

라벨 인코딩과 데이터 일관성

라벨 인코딩 시 fit_transform을 훈련 데이터와 테스트 데이터에 각각 적용하는 것은 각 데이터셋에 대해 별도로 인코딩을 수행하기 때문에 훈련 데이터와 테스트 데이터의 범주 간 일관성이 깨질 수 있습니다. 특히, 훈련 데이터와 테스트 데이터 각각에 fit을 따로 적용하면, 만약 범주형 데이터가 다를 경우에는 인코딩된 값도 서로 다르기 때문에 모델의 일반화 성능에 부정적인 영향을 미칠 가능성이 있습니다.

영향 및 해결 방법

  1. 영향: 현재 진현석님이 언급하신대로 상권유형(컬럼)의 개수(unique)가 train과 test 모두 동일하여 a, b, c, d, e, f로 같은 경우에는 우연히 값이 같기 때문에 큰 문제는 없을 수 있습니다. 단, 모델이 동일한 데이터를 봤을 때 다른 결과를 내지 않게 하려면 항상 일관된 방법으로 데이터 전처리를 해야 합니다.

  2. 해결 방법: 올바른 구현 방법으로는 먼저 train 데이터에 대해 le.fit(train[col])을 수행한 후, 동일한 레이블인코더 객체를 사용해 test 데이터를 le.transform(test[col])으로 변환해야 합니다.

관련 사례 또는 추가 내용에 대해서는 다음과 같은 게시물을 참고하시면 도움이 될 것입니다:

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.

강의 연장 관련하여 문의드립니다.

0

15

1

섹션7 자료 다운로드

0

13

1

작업형 1 연습문제 Section12

0

14

1

수강기간 연장 문의

0

26

1

안녕하세요, 혹시 수강기간 연장이 가능할까요?

0

27

2

판다스 강의자료는 어디서 받을 수 있나요?

0

26

2

작업형2 모의고사3 자료 업데이트 요청

0

33

4

수강 연장가능여부 문의드립니다!

0

38

2

수강기간 연장 문의드립니다!

0

32

2

최빈값

0

32

2

수강 가이드라인

0

29

2

수강 연장 가능 여부 문의

0

55

2

강의 구매했는데 교재 필수일까요

0

43

2

수강기간 연장 가부 문의드립니다.

0

40

2

수강기간 연장이 가능한지 양해를 구하며 문의를 드립니다.

0

42

2

작업형2 모의문제2에서 drop이랑 인코딩

0

51

3

인코딩을 다 꼭 해봐야하는지

0

50

2

안녕하세요? 강사님 질문있습니다.(인코딩관련)

0

62

2

이진분류에서 양성 클래스가 0일 때 평가 방법

0

46

2

원핫인코딩 전 train과 test 병합여부

0

51

2

수강기간 연장

0

72

2

29강 작업2형의 이상치 처리

0

70

2

수강기간 연장 문의드립니다!

0

66

2

9월에 실기출제기준 개정내역에 신설된부분

0

56

1