inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

작업형2 모의문제2

원핫인코딩과 레이블 인코딩에서 concat

2

lisajimin

작성한 질문수 2

0

drop하고 남은 train 과 test 데이터에서 유니크 수가 다른 컬럼이 있는데 레이블 인코딩에서는 concat으로 데이터를 합쳤다가 나누어주는 과정이 필요없나요?

python 머신러닝 빅데이터 pandas 빅데이터분석기사

답변 1

0

인프런 AI 인턴

안녕하세요, 인프런 AI 인턴입니다. lisajimin님 질문에 답변드리겠습니다.

레이블 인코딩에 대한 방법론

레이블 인코딩에서는 각 고유 클래스(범주형 값)를 정수로 변환하여 작업을 진행합니다. 따라서 레이블 인코딩은 데이터셋을 합칠 필요 없이 각 데이터셋의 고유한 범주형 값을 그 자체로 정수로 변환합니다. 이는 범주형 값이 단순히 정수로 표현될 수 있기 때문에 concat으로 합치는 과정이 필요하지 않습니다.

주의할 점:

  • 데이터 분포: 만약 train과 test의 범주형 값이 다르거나 새로운 클래스가 test 데이터에 나타날 경우, 해당 클래스에 대해 학습이 되지 않아 예상치 못한 오류가 발생할 수 있습니다.
  • 동일한 인덱스 접근: 인코딩 과정에서 사용한 딕셔너리를 나중에도 일관되게 적용해야 합니다.

원핫 인코딩과 구별되는 점

반면, 원핫 인코딩은 각 범주형 값이 새로운 열(column)로 변환되기 때문에, 이전에 실행한 pd.concat()이나 pd.get_dummies()을 사용하여 합친 후 변환하는 방식을 사용하여 두 데이터셋의 구조를 일치시킵니다. 이를 통해 학습 다운스트림의 모델에 데이터가 정확히 입력되도록 보장하는 것이 중요합니다.

관련해서 참고할 만한 질문과 답변 링크는 다음과 같습니다:
- 원핫 인코딩과 데이터 병합 관련 이슈

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.

제2유형 질문입니다.

0

19

2

C()

0

15

2

작업형 2에서 strafity 적용 유무

0

21

2

수강 기간 연장 가능 여부 문의드립니다.

0

17

1

ols

0

20

2

2유형 작성관련 질문(일반 심화)

0

21

2

2유형 작성관련 질문

0

18

2

2유형 object컬럼 개수 다르면

0

20

2

코딩팡질문이요ㅠㅠ

0

22

2

관찰값과 기대값의 개념이 헷갈립니다.

0

13

2

작업형2 ID 컬럼 삭제 질문

0

23

2

2유형 작성관련 질문

0

20

2

memoryerror 질문

0

18

2

작업형 유형2 이렇게 고정 템플릿으로 가져가도 될까요?

0

21

1

ID 삭제 필수 인가요?

0

19

3

7회 기출문제 작업형1번 df 변환 후 저장되는 방식 질문

0

16

2

3 유형 귀무가설, 대립가설

0

20

2

인코딩 관련 질문 있습니다

0

23

2

작업형3 이원분산분석 sm에서불러오기 / anova_lm 차이

0

27

2

2유형 원핫인코딩 오류

0

23

2

시험장에서 주석 단축키 안될 때 많나요?

0

29

2

라벨인코딩 방식

0

29

2

test 재학습 관련

0

16

2

target 빈도 확인

0

18

2