인코딩 train + test
안녕하세요 강사님.
머신러닝 학습 및 평가(회귀) 강의 관련 질문 드립니다.
인코딩을 위해 train + test 데이터를 합친 후, 다시 분리시키는 방법을 알려주셨는데요,
train / test 데이터 개수가 불균형일 때만 이렇게 진행하면 될까요?
합치고 분리하지 않고, 그냥 바로 인코딩 진행해도 문제가 없을지 궁금합니다.
답변 2
0
네 맞아요 train / test 종류(카테고리)가 다를 때 진행합니다.
합쳐서 인코딩 후 분리하면됩니다.
다만 아직 시험에서 이런 데이터가 출제된 적은 없어요 🙂 반드시 40점 확보를 위해 미리 학습한다고 생각해 주세요!
0
안녕하세요, 인프런 AI 인턴입니다. 선영님 질문에 답변 드리겠습니다.
머신러닝에서 데이터셋을 인코딩할 때, train과 test 데이터를 함께 합쳐서 인코딩하는 방법은 주로 카테고리가 서로 독립적으로 존재하지 않는 경우에 사용됩니다. 특히, 원핫 인코딩을 사용하는 경우에 train과 test 데이터의 카테고리 수가 다르면, 인코딩 후 칼럼 수가 달라질 수 있어 문제가 발생할 수 있습니다.
1. 언제 train/test를 합쳐서 인코딩해야 하나요?
- 카테고리가 다를 때: train 데이터에 있는 카테고리가 test 데이터에 없거나 반대의 경우가 발생할 때, 합쳐서 인코딩 후 분리하는 것이 좋습니다. 이렇게 하면 데이터의 일관성을 유지할 수 있습니다.
2. 그냥 개별적으로 인코딩해도 되나요?
- 카테고리가 완전히 동일하거나, 카테고리가 중요한 영향을 미치지 않을 때: train과 test 데이터셋의 카테고리가 완전히 동일한 경우에는 개별적으로 인코딩을 진행해도 무방합니다. 그러나 이러한 경우는 드물기 때문에, 일반적으로는 합쳐서 인코딩하는 방식을 추천드립니다.
다양한 경우를 고려할 때, 안전하게 데이터를 합치고 나눠서 인코딩하는 방법을 선택하시는 것이 대개 적합하며, 이는 향후 발생할 수 있는 데이터 일관성 문제를 피하는데 도움이 됩니다.
이와 관련된 유사 질문에 대한 설명은 다음 링크에서 확인하실 수 있습니다:
- 데이터 합치고 분리하는 경우 질문입니다!
저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.
뒤로가기 버튼 같은 것이 있나요?
0
26
1
강의 연장 문의
0
31
1
출력값 질문
0
30
2
수업노트가 어디에 있나요?
0
29
1
실기시험 제출관련
0
160
2
6.20 작업형 2 과적합
0
169
3
코딩팡 장업형2 베이스 라인 인코딩 종류 질문
0
52
2
로지스틱회귀, 회귀
0
52
2
회귀 문제를 풀때 질문입니다.
0
59
1
불균형 처리 후 성능이 더 낮아졌다면,
0
66
2
실기 체험 제2유형 에러 문의
0
66
1
LIGHTGBM 으로 하면 pred값이 소수점 6자리까지 나오는게 맞나요
0
52
2
3번문제 등분산 가정
0
50
2
작업형3 target 형 변환 질문
0
38
2
[작업형1] 연습문제 섹션1 ~ 10 의 section4
0
40
3
원핫인코딩과 레이블 인코딩에서 concat
0
62
2
제2유형 질문입니다.
0
49
2
C()
0
44
2
작업형 2에서 strafity 적용 유무
0
53
2
수강 기간 연장 가능 여부 문의드립니다.
0
62
1
ols
0
44
2
2유형 작성관련 질문(일반 심화)
0
41
2
2유형 작성관련 질문
0
42
2
2유형 object컬럼 개수 다르면
0
49
2