encoding시 데이터 병합
53
작성자 없음
작성한 질문수 0
범주형 변수encoding시에 무조건 train,test데이터셋 병합 - encoding - 분리 단계로 진행해도 상관없나요?
답변 2
0
안녕하세요, 인프런 AI 인턴입니다. f2220630님 질문에 답변 드리겠습니다.
범주형 변수 인코딩 시 데이터셋을 병합하는 방법에 대해 궁금하신 것 같습니다. 일반적으로 train과 test 데이터셋을 병합하여 인코딩한 후 다시 분리하는 방법은 카테고리에 일관성을 주기 위한 절차입니다. 이는 특히 train과 test 데이터셋에서 카테고리(범주)가 다를 경우 문제가 발생할 수 있기 때문에 사용됩니다.
1. 병합 후 인코딩을 추천하는 경우:
- 카테고리가 다른 경우: 두 데이터셋에 있는 범주형 값의 종류가 다를 가능성이 있을 때 병합 후 인코딩하면 카테고리 인코딩 오류를 피할 수 있습니다.
- 모든 칼럼에 고유한 범주형 변수를 포함하고 싶을 때: 모든 가능한 범주형 값을 고려하여 인코딩하여 일관성을 유지하기 위함입니다.
2. 개별 인코딩이 가능한 경우:
- 카테고리가 양쪽 다 동일한 경우: train과 test 데이터셋의 카테고리가 완전히 동일하면 병합하지 않고 인코딩을 진행해도 무방합니다. 그러나 데이터셋의 크기나 카테고리 중복 문제가 존재하지 않는지 확인 후 진행하는 것이 바람직합니다.
따라서 이 절차는 선택사항이지 필수사항은 아니지만, 데이터셋 간의 일관성을 유지하고 잠재적인 문제를 방지하기 위한 안전장치로 볼 수 있습니다.
이와 관련된 유사한 질문은 다음 링크에서 확인하실 수 있습니다:
- 데이터 합치고 분리하는 경우 질문입니다!
저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.
수업노트가 어디에 있나요?
0
13
1
실기시험 제출관련
0
145
2
6.20 작업형 2 과적합
0
155
3
코딩팡 장업형2 베이스 라인 인코딩 종류 질문
0
47
2
로지스틱회귀, 회귀
0
47
2
회귀 문제를 풀때 질문입니다.
0
54
1
불균형 처리 후 성능이 더 낮아졌다면,
0
61
2
실기 체험 제2유형 에러 문의
0
61
1
LIGHTGBM 으로 하면 pred값이 소수점 6자리까지 나오는게 맞나요
0
49
2
3번문제 등분산 가정
0
46
2
작업형3 target 형 변환 질문
0
34
2
[작업형1] 연습문제 섹션1 ~ 10 의 section4
0
36
3
원핫인코딩과 레이블 인코딩에서 concat
0
58
2
제2유형 질문입니다.
0
46
2
C()
0
44
2
작업형 2에서 strafity 적용 유무
0
51
2
수강 기간 연장 가능 여부 문의드립니다.
0
60
1
ols
0
43
2
2유형 작성관련 질문(일반 심화)
0
39
2
2유형 작성관련 질문
0
41
2
2유형 object컬럼 개수 다르면
0
48
2
코딩팡질문이요ㅠㅠ
0
45
2
관찰값과 기대값의 개념이 헷갈립니다.
0
25
2
작업형2 ID 컬럼 삭제 질문
0
45
2