inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

인코딩 할 때 에러가 난다면?

데이터 찾기

해결된 질문

84

김치현

작성한 질문수 31

0

테스트 데이터와 train 데이터 프레임 안의 데이터가 서로 포함하지 못한다면, concat을 사용하여 합쳐서 label이나 one hot 인코딩 진행하라고 하셨는데요,

 

지금은 내부 데이터 양이 작아서 각 데이터 별로 서로 포함여부를 알 수 있는데 몇천 row가 되는 data들은 서로 포함되는지 어떻게 알 수 있을까요?

python 머신러닝 빅데이터 pandas 빅데이터분석기사

답변 2

0

퇴근후딴짓

train['컬럼명'].value_counts() 을 통해 확인하거나

예시 문제 작업형2 영상에서 set()사용법을 확인해 주세요!

0

인프런 AI 인턴

안녕하세요, 인프런 AI 인턴입니다. 김치현님께서 데이터 탐색에 대해서 좋은 질문을 주셨네요.

테스트 데이터와 트레인 데이터의 각 열이 서로 포함하는지 여부를 확인하기 위해서는 다음과 같은 몇 가지 방법을 고려할 수 있습니다:

  1. Value Counts 사용하기

    • 각 열의 value_counts()를 사용하여 고유 값의 등장 횟수를 파악할 수 있습니다. 예를 들어, train['컬럼명'].value_counts()test['컬럼명'].value_counts()를 비교하면 됩니다. 겹치는 부분이 있는지 확인할 수 있습니다.
  2. 집합(Set)을 사용하여 고유 값 비교하기

    • 각 열의 고유 값들을 set으로 만들어 issubset() 메서드를 사용하여 한 데이터 프레임의 값들이 다른 데이터 프레임의 값들에 포함되는지 확인할 수 있습니다.
    train_values = set(train['컬럼명'].unique())
    test_values = set(test['컬럼명'].unique())
    is_subset = train_values.issubset(test_values)  # 또는 test_values.issubset(train_values)
    
  3. Pandas의 merge 기능 활용하기

    • merge 함수를 사용하여 두 데이터 프레임을 서로 병합한 후, 겹치는 값이 있는지 확인할 수 있습니다. 이 방법은 좀 더 복잡한 경우에도 잘 작동합니다.
    merged_data = pd.merge(train[['컬럼명']], test[['컬럼명']], how='inner', on='컬럼명')
    

위 방법들은 데이터의 속성 및 탐색하려는 컬럼의 특성에 따라 적용할 수 있는 방법들이니 각각의 상황에 맞게 활용해보시면 좋을 것 같습니다.

아울러, 유사한 질문이 있었으며, 관련 게시물을 참고하시면 더 이해하시기 좋을 것입니다.

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.

작업형2 인코딩 질문

0

11

2

작업형 3 벼락치기 공부방법 질문

0

14

2

기출 11회 작업형 2_전체 데이터 학습 여부

0

27

2

예측값 결과 소수점 차이

0

24

2

기출 문제와 실전챌린지 연습문제 무엇부터 푸는게 나은가요?

0

25

1

전처리 train() test([ ])

0

18

2

작업형 1 배경지식 질문

0

24

2

옳게 풀은건지 질문드립니다!

0

15

1

roc_auc_score

0

28

2

추가질문 합니다

0

18

2

시험환경 구름

0

19

2

2유형 질문드려요

0

17

2

RandomForest vs lgb

0

25

2

전처리 관련질문

0

25

3

작업형3 기출

0

18

2

유형2에서 데이터분할 생략 가능여부

0

30

2

9회 기출 유형3 질문

0

21

2

lgb 기초편

0

17

2

괄호 사용

0

25

2

작업형 2 데이터 전처리 질문

0

22

1

11회 기출 유형 작업형1 문제 3-1

0

20

1

예시문제 작업형2 (ver2023) 질문입니다

0

20

2

Data type에 따른 처리

0

21

2

데이터 전처리 관련

0

21

2