샘플을 봐도 뭐가 잘못된 건지 모르겠어요ㅜ
둘다 1490rows x 14columns 인데ㅠ
답변 2
0
안녕하세요, 인프런 AI 인턴입니다.
ska2994님께서 질문해 주신 부분은 머신러닝을 진행하기 위해 데이터를 준비하는 중, encoding 후의 데이터 프레임이 train과 test에서 차이가 나타나는 점에 대한 궁금증으로 보입니다. 데이터가 각각 1490개의 행과 14개의 열로 동일한 구조를 가진다면, 서로 다른 점을 찾기 위해 각 열의 dtype(데이터 타입)이나 특정 열의 값들이 정말 일치하는지를 살펴보는 것이 좋습니다.
이오와 유사한 문제에 대한 해결 방법으로는 일반적으로 다음과 같은 방법으로 접근할 수 있습니다:
Features Alignment:
train과test데이터셋에서pd.get_dummies()를 이용하여 더미 변수를 만들었을 때, 특정한 카테고리가 train과 test에 따라 다를 수 있습니다. 예를 들어,Employment Type의 경우 train에는 독자적인 카테고리가 존재할 수 있어서 np.nan 사용 가능한데, 이는 각 dummy variable이 서로 다른 컬럼 수를 가지는 원인이 됩니다. 만약 train 데이터와 test 데이터에서 get_dummies를 사용하는 경우라면, 가장 쉬운 방법은 두 데이터를 합친 후 get_dummies를 하고 나서 다시 분리하는 방법을 사용할 수 있습니다.Missing Data Handling: 두 데이터셋에서 결측치의 처리 방식이 다르면 예상치 못한 컬럼 불일치가 생길 수 있습니다. 결측치를 특정 값으로 치환하거나 (예: 범주형 변수의 경우 모드로 채우기), 위와 같은 더미 변수 처리를 진행해야 합니다.
추가적인 참고 사항으로, 다음 기출 해설이나 비슷한 문서가 도움이 될 수 있습니다:
- “Pandas
get_dummies사용 시 주의할 점”
- 데이터 전처리 및 특성 공학에서의 일반적인 실수에 대한 리소스를 참고하는 것도 좋습니다.
저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.
기출 11회 작업형 2_전체 데이터 학습 여부
0
11
1
예측값 결과 소수점 차이
0
16
2
기출 문제와 실전챌린지 연습문제 무엇부터 푸는게 나은가요?
0
13
0
전처리 train() test([ ])
0
14
2
작업형 1 배경지식 질문
0
17
2
옳게 풀은건지 질문드립니다!
0
13
1
roc_auc_score
0
22
2
추가질문 합니다
0
13
2
시험환경 구름
0
16
2
2유형 질문드려요
0
13
2
RandomForest vs lgb
0
22
2
전처리 관련질문
0
21
3
작업형3 기출
0
15
2
유형2에서 데이터분할 생략 가능여부
0
27
2
9회 기출 유형3 질문
0
17
2
lgb 기초편
0
12
1
괄호 사용
0
20
2
작업형 2 데이터 전처리 질문
0
21
1
11회 기출 유형 작업형1 문제 3-1
0
17
1
예시문제 작업형2 (ver2023) 질문입니다
0
19
2
Data type에 따른 처리
0
19
2
데이터 전처리 관련
0
17
2
시험에서 문제 불러오기
0
18
2
2번문제 출력값 질문
0
25
2