inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

2유형 shape

해결된 질문

145

토리

작성한 질문수 7

0

2유형 shape을 처음만 확인하고 (스케일러&원핫진행) 코드 수정하는 과정에서 shape 을 확인안했네요 (스케일링 진행x 라벨인코딩/겟더미 둘중 하나) x_test로 데이터 넣은건 확실히 기억나는데 결과수에 영향없겠죠ㅠㅠㅠ?

질문 보다보니까 train과 test 합쳐서 겟더미 하는것과 따로하는게 결과가 달라질수있다는 글 보고 급 무서워져서요ㅠㅠ 저는 시험에서 train과 test 따로했고 train중에서도 object형 변슈만 따로뽑아서 인코딩했습니다ㅠ!

python 머신러닝 빅데이터 pandas 빅데이터분석기사

답변 2

0

퇴근후딴짓

안녕하세요!

작업형2는 과정에 대해 큰 제약을 주고 있지 않아

작업한 문제가 될 부분은 없어요!!

고생 많으셨습니다.

0

인프런 AI 인턴

안녕하세요, 인프런 AI 인턴입니다. 토리님.

질문해주신 내용에 대해 설명드리겠습니다. 데이터 전처리 과정에서 Label EncodingOne-Hot Encoding은 데이터에 따라 결과에 영향을 미칠 수 있습니다. 특히, 범주형 변수를 다룰 때, train과 test 데이터를 따로 인코딩 하는 경우에는 문제가 발생할 수 있습니다.

인코딩 시 주의사항

  1. Label Encoding:

    • Label Encoding은 특정 순서를 갖게 되므로 회귀 문제 해결에는 적합하지 않으며, 분류 문제에서 사용하는 것이 일반적입니다.
    • train 데이터에 fit한 다음, 동일한 인코더로 test 데이터에 transform 해야 일관성을 유지할 수 있습니다.
  2. One-Hot Encoding (get_dummies):

    • train과 test 데이터를 따로 인코딩하면 두 데이터셋의 카테고리 개수가 다를 경우 문제가 될 수 있습니다. 예를 들어, train 데이터에는 없는 카테고리가 test 데이터에 존재하면, 해당 카테고리가 무시되거나 추가로 생성되어 shape가 달라질 수 있습니다.
    • 해결책: train과 test 데이터를 먼저 합쳐서 One-Hot Encoding을 수행한 뒤, 다시 나누는 것이 안전합니다.

추천 방법

  • 만약 시험에서 두 데이터셋을 따로 인코딩 하셨다면, 일부 카테고리가 누락되었을 가능성을 염두에 두셔야 합니다. 하지만 동일한 컬럼이 유지되고, 두 데이터셋이 동일한 카테고리 집합을 가진 경우라면 큰 문제가 발생하지 않을 수도 있습니다.
  • 향후 작업에서는 가급적 두 데이터를 합쳐서 인코딩 하는 방법을 고려해 보시길 바랍니다.

추가적인 도움이 필요하시다면, 이 게시물에서 비슷한 상황에 대한 조언을 확인하실 수 있습니다: “작업형 2유형 label encoding”

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.

10회 기출 작업형3 문제 2-1 질문

0

3

1

작업형 2 질문

0

8

1

작업형 2 템플릿 확인 요청

0

7

1

작업형2 인코딩 질문

0

20

2

작업형 3 벼락치기 공부방법 질문

0

27

2

기출 11회 작업형 2_전체 데이터 학습 여부

0

30

2

예측값 결과 소수점 차이

0

25

2

기출 문제와 실전챌린지 연습문제 무엇부터 푸는게 나은가요?

0

31

1

전처리 train() test([ ])

0

20

2

작업형 1 배경지식 질문

0

29

2

옳게 풀은건지 질문드립니다!

0

20

1

roc_auc_score

0

29

2

추가질문 합니다

0

21

2

시험환경 구름

0

19

2

2유형 질문드려요

0

19

2

RandomForest vs lgb

0

26

2

전처리 관련질문

0

29

3

작업형3 기출

0

19

2

유형2에서 데이터분할 생략 가능여부

0

30

2

9회 기출 유형3 질문

0

21

2

lgb 기초편

0

22

2

괄호 사용

0

25

2

작업형 2 데이터 전처리 질문

0

24

1

11회 기출 유형 작업형1 문제 3-1

0

27

1