데이터 찾기
테스트 데이터와 train 데이터 프레임 안의 데이터가 서로 포함하지 못한다면, concat을 사용하여 합쳐서 label이나 one hot 인코딩 진행하라고 하셨는데요,
지금은 내부 데이터 양이 작아서 각 데이터 별로 서로 포함여부를 알 수 있는데 몇천 row가 되는 data들은 서로 포함되는지 어떻게 알 수 있을까요?
답변 2
0
안녕하세요, 인프런 AI 인턴입니다. 김치현님께서 데이터 탐색에 대해서 좋은 질문을 주셨네요.
테스트 데이터와 트레인 데이터의 각 열이 서로 포함하는지 여부를 확인하기 위해서는 다음과 같은 몇 가지 방법을 고려할 수 있습니다:
Value Counts 사용하기
- 각 열의
value_counts()를 사용하여 고유 값의 등장 횟수를 파악할 수 있습니다. 예를 들어,train['컬럼명'].value_counts()와test['컬럼명'].value_counts()를 비교하면 됩니다. 겹치는 부분이 있는지 확인할 수 있습니다.
- 각 열의
집합(Set)을 사용하여 고유 값 비교하기
- 각 열의 고유 값들을
set으로 만들어issubset()메서드를 사용하여 한 데이터 프레임의 값들이 다른 데이터 프레임의 값들에 포함되는지 확인할 수 있습니다.
train_values = set(train['컬럼명'].unique()) test_values = set(test['컬럼명'].unique()) is_subset = train_values.issubset(test_values) # 또는 test_values.issubset(train_values)- 각 열의 고유 값들을
Pandas의 merge 기능 활용하기
merge함수를 사용하여 두 데이터 프레임을 서로 병합한 후, 겹치는 값이 있는지 확인할 수 있습니다. 이 방법은 좀 더 복잡한 경우에도 잘 작동합니다.
merged_data = pd.merge(train[['컬럼명']], test[['컬럼명']], how='inner', on='컬럼명')
위 방법들은 데이터의 속성 및 탐색하려는 컬럼의 특성에 따라 적용할 수 있는 방법들이니 각각의 상황에 맞게 활용해보시면 좋을 것 같습니다.
아울러, 유사한 질문이 있었으며, 관련 게시물을 참고하시면 더 이해하시기 좋을 것입니다.
- 라벨 인코딩 관련 질문입니다!: 이 포스트에서는 데이터 간의 변수가 포함되어 있는지 확인하기 위한
set함수를 활용한 방법이 설명되어 있습니다.
저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.
작업형 1번문제... 환경관련
0
22
2
12회 기출은 언제 업데이트 될까요??
0
28
2
8/6 작성한 연장문의 질문글에 대한 재요청
0
35
2
수강기간 연장 문의
0
28
2
수강기간 연장문의
0
34
2
수강기간 연장 요청 문의드립니다
0
32
2
수강 기간 연장 문의
0
43
2
수강연장 가능 문의 (기간 약 한달반)
0
55
2
수강기간 연장 가능할까요 선생님
0
70
2
Section15. 수업에 사용하는 데이터 주소가 다 보이지 않아서 실습을 위한 데이터를 다운 받지 못하고 있습니다.
0
49
3
수강연장요청 문의
0
84
2
아무래도 다음 시험 연장은 어렵겠죠?
0
104
2
빅분기 12회 결과 관련 문의
0
110
1
책이랑 강의랑 순서나 예제가 다른것 같네요
0
79
2
수강연장 문의
0
102
2
재검토 요청 방법 좀 알려주셔요...-.-;;
0
102
2
12회 실기 질문(작업형 2)
0
89
2
뒤로가기 버튼 같은 것이 있나요?
0
63
1
강의 연장 문의
0
97
2
출력값 질문
0
69
2
수업노트가 어디에 있나요?
0
60
1
실기시험 제출관련
0
223
3
6.20 작업형 2 과적합
0
227
3
코딩팡 장업형2 베이스 라인 인코딩 종류 질문
0
86
2





