inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

[작업형2] 연습문제 섹션 4

city 컬럼 삭제

해결된 질문

82

이민서

작성한 질문수 2

0

cols = train.select_dtypes(include='O').columns

for col in cols:
  train_set = set(train[col])
  test_set = set(test[col])
  same = (set(train[col]) == set(test[col]))

  if same:
    print(col, "동일")
  else:
    print(col, "동일하지않음")

이 코드를 실행했을 때 'city'가 동일하지 않다고 나와서 city컬럼을 train과 test 모두에서 삭제해야하는 줄 알았는데 보통 어느 경우에 컬럼을 삭제하는 건지 궁금합니다.

 

 

 

python 머신러닝 빅데이터 pandas 빅데이터분석기사

답변 2

0

퇴근후딴짓

'city'가 동일하지 않다고 나와서 city컬럼을 train과 test 모두에서 삭제해야하는 줄 알았는데

-> 삭제하는 것 아닙니다!!! 특히 시험환경은 작은 데이터를 줘서 모델 성능 하락이 될 수 있습니다.

 

train과 test를 합쳐서 인코딩하는 방버이 필요해요

삭제가 필요한 경우는 10%데이터만 있고 90%의 결측치가 있을 때

평균이나 0으로 채운 값이 모델 성능 변화가 없거나 오히려 떨어지는 경우 삭제를 하기도 합니다.

 

아직 기출에서 결측치를 채워야 하거나 삭제가 필요한 경우는 없었어요!

(심화 내용으로 봐주시면 감사하겠습니다)

0

인프런 AI 인턴

안녕하세요, 인프런 AI 인턴입니다. 이민서님.

질문 주신 내용에서는 데이터프레임의 'city' 컬럼이 train과 test 데이터세트에서 동일하지 않다는 결과를 얻으신 것 같습니다. 이는 두 데이터 세트 간의 특정 텍스트 데이터가 다르게 존재하거나 불일치하는 범주형 데이터일 수 있습니다. 이 경우, 컬럼을 삭제하기 전에 고려해야 하는 몇 가지 기준이 있습니다:

  1. 모델의 필요성: 해당 컬럼이 예측 모델에 중요한 피처인가요? 만약 특정 컬럼이 모델의 성능에 크게 영향을 줄 중요 피처라면, 다른 적절한 전처리(예: 범주형 변수 인코딩)를 통해 해결하는 것이 좋습니다.

  2. 데이터의 균형 유지: 동일하지 않은 범주형 데이터가 많은 경우, 원핫 인코딩이나 라벨 인코딩 후 발생할 수 있는 데이터 크기 증가에 대한 고려가 필요합니다.

  3. 데이터 분포와 비즈니스 룰: ‘City’ 같은 경우, 각각의 값이 실제 분석 시 비즈니스적으로 중요한가요? 만약 그렇다면, 무작정 삭제하기보다는 불일치를 해결할 방법을 찾는 것이 좋습니다.

  4. 데이터 검증: 컬럼을 삭제하기 전, 실제로 중요한 정보를 가지고 있는 피처인지, 기존 문제와 데이터의 목적에 맞는 피처인지 검토합니다.

위 기준들에 따라 ‘city’ 컬럼을 삭제할지 유지할지를 결정을 내리시면 됩니다. 데이터 전처리 시, 단순히 불일치나 복잡성으로 인해 삭제하기보다는 모델의 목적과 성과에 영향이 없는지, 그리고 해당 데이터가 가지는 실질적 의미를 고려하셔야 합니다.

관련하여 유사한 질문과 답변을 참고하실 수 있습니다:
- 작업형2 모의문제에서 불일치 컬럼 처리 방법
- 데이터 전처리: 컬럼 삭제 vs 전처리

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.

copy()

0

8

1

딴짓코치 이용

0

15

1

수강 관련 문의 드립니다.

0

47

3

자치구 상점 수 합(12회)

0

24

1

불균형데이터 처리 전후 비교

0

28

2

레이블인코딩/원핫

0

32

2

인코딩

0

28

2

작업형 2 작업

0

33

2

ttest_rel() 관련 질문

0

39

2

작업형2. 인코딩에 대해 질문드립니다.

0

31

2

작업형3 2-3

0

40

1

코딩팡 2호선 전처리 종합 28번 중고 카메라 매입가 문제 최적화 질문드립니다.

0

30

1

8회 작업형2

0

34

2

작업형2 모의문제2 updated 2026.10

0

47

3

단순선형 회귀분석 신뢰구간,예측구간 관련질문

0

40

2

판다스 부분 강의 듣고 있는데..

0

45

2

코딩팡 Pro 등록방법 문의

0

44

1

'자동으로 저장할 수 없습니다. 이 파일은 원격으로 또는 다른 탭에서 업데이트되었습니다.'

0

31

2

random_state에 따른 최종스코어 점수차이

0

39

2

코랩 백엔드

0

64

3

xgboost 사용 시 오류 이유

0

48

2

작업형 2 제출하는 법

0

62

2

Section 5. 문자열 슬라이싱, 파생변수, 평균값 질문 드립니다.

0

43

1

예시문제 작업형2(ver. 2025)

0

63

2