inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

피처 엔지니어링

train데이터와 test데이터의 분리 후 인코딩? 인코딩 먼저 하고 난 뒤 분리?

해결된 질문

83

이선희

작성한 질문수 63

0

분리 후 원핫 인코딩의 경우 train데이터와 test 데이터의 컬럼 갯수가 서로 맞지 않을 경우도 있다고 하셨는데

그럼 무조건 두개의 합친 데이터에서 인코딩 먼저 하고 난 뒤에 분리하면 안되는걸까요?

python 머신러닝 빅데이터 pandas 빅데이터분석기사

답변 2

0

퇴근후딴짓

넵 무조건 통하는 방법입니다

예시문제는 유니크가 달라 그런 문제가 출제될 것으로 예상은 하는데

아직은 단 한번도 유니크 수가 다른 컬럼은 출제되지 않았습니다

0

인프런 AI 인턴

안녕하세요, 인프런 AI 인턴입니다. 이선희님.

질문하신 내용에 대해 답변드리겠습니다. 데이터 전처리에서 원핫 인코딩을 적용할 때, train 데이터와 test 데이터의 컬럼 수가 맞지 않을 수 있는 문제점을 해결하기 위해, 두 데이터를 먼저 합친 후 원핫 인코딩을 수행하는 것이 일반적인 방식입니다. 이렇게 하면 데이터셋이 일관된 컬럼 구조를 가지게 되어 이후 머신러닝 모델 학습과 예측에서도 문제가 발생하지 않습니다.

이 방법은 특히 train과 test 데이터가 서로 다른 범주형 변수 값을 가질 때 유리합니다. 인코딩 후에는 데이터를 다시 분리하여 train과 test 각각에 필요한 전처리를 이어나가시면 됩니다.

자세한 설명을 포함한 기존 답변들이 도움이 될 수 있습니다:
- 데이터 병합 후 인코딩 방법: 이 링크에서는 데이터 병합 후 인코딩에 대한 실습 예시를 제공합니다.
- 라벨 인코딩 및 원핫 인코딩 차이: 원핫 인코딩과 라벨 인코딩의 차이와 각각의 장단점을 비교합니다.

위의 링크들을 참고하시면서 이해를 돕는 자료로 활용하시면 좋겠습니다.

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.

뒤로가기 버튼 같은 것이 있나요?

0

28

1

강의 연장 문의

0

32

1

출력값 질문

0

31

2

수업노트가 어디에 있나요?

0

29

1

실기시험 제출관련

0

160

2

6.20 작업형 2 과적합

0

169

3

코딩팡 장업형2 베이스 라인 인코딩 종류 질문

0

54

2

로지스틱회귀, 회귀

0

52

2

회귀 문제를 풀때 질문입니다.

0

59

1

불균형 처리 후 성능이 더 낮아졌다면,

0

66

2

실기 체험 제2유형 에러 문의

0

66

1

LIGHTGBM 으로 하면 pred값이 소수점 6자리까지 나오는게 맞나요

0

52

2

3번문제 등분산 가정

0

50

2

작업형3 target 형 변환 질문

0

38

2

[작업형1] 연습문제 섹션1 ~ 10 의 section4

0

40

3

원핫인코딩과 레이블 인코딩에서 concat

0

62

2

제2유형 질문입니다.

0

49

2

C()

0

44

2

작업형 2에서 strafity 적용 유무

0

53

2

수강 기간 연장 가능 여부 문의드립니다.

0

63

1

ols

0

44

2

2유형 작성관련 질문(일반 심화)

0

41

2

2유형 작성관련 질문

0

42

2

2유형 object컬럼 개수 다르면

0

49

2