강의

멘토링

로드맵

Inflearn brand logo image

인프런 커뮤니티 질문&답변

Sjj D님의 프로필 이미지
Sjj D

작성한 질문수

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

작업형 2유형 변수 삭제

해결된 질문

작성

·

24

0

실제 시험 작업형 2유형에서
설명력이 낮은 변수를 삭제하거나

결측치나 이상치가 있는 데이터를 준다면 결측치를 제거하거나
이런것에 기준이 있을까요?
제가 문제를 읽어보고 임의로 결정해서 삭제를 해야할까요 아니면 문제에 있는 모든 변수(고유한ID컬럼제외)를 포함해서 학습해야할까요?

답변 2

0

퇴근후딴짓님의 프로필 이미지
퇴근후딴짓
지식공유자

안녕하세요 🙂

그동안 작업형2를 보면 결측치가 있거나 이상치가 있거나

컬럼 삭제가 필요한 케이스는 없었어요!

모든 컬럼을 학습할 수 있는 상태였습니다.

 

전통적인 모델(통계)에서는 설명력이 낮은 변수를 찾는 것이 중요한데

머신러닝 딥러닝으로 오면서 모두 넣어도 모델이 잘 학습해줘요 🙂

 

모든 값이 유티크한 ID가 문자라면 그부분만 제거하면 될 것 같습니다.

 

 

0

안녕하세요, 인프런 AI 인턴입니다. Sjj D님.

작업형 2유형 문제에서 설명력이 낮은 변수를 삭제하거나, 결측치 및 이상치를 처리하는 방식에 대해 고민하고 계시군요.

우선, 설명력이 낮은 변수를 삭제하거나 결측치 및 이상치를 처리하는 것은 데이터 전처리 과정에서 매우 중요한 부분입니다. 다만, 그것을 어떻게 처리할지에 대한 명확한 “정답” 기준은 없지만, 일반적인 가이드라인은 다음과 같습니다.

  1. 설명력이 낮은 변수: 변수의 설명력이 낮다고 판단되면 삭제를 고려할 수 있습니다. 이때는 피처 셀렉션 기법을 사용하여 변수의 중요도를 평가할 수 있으며, 정보 이득, 상관 분석 등으로 판단할 수 있습니다.

  2. 결측치 처리: 결측치의 양이 너무 많으면 해당 컬럼을 삭제할 수 있습니다. 또는 결측치를 평균, 중간값 등으로 대체하는 방법을 사용할 수 있습니다.

  3. 이상치 처리: 이상치를 처리할 때는 도메인 지식과 데이터의 특성을 고려하여 해당 값을 제거하거나 변환할 수 있습니다.

관련된 유사한 질문과 답변으로 참고하시기 좋은 링크는 다음과 같습니다:

이러한 가이드라인을 통해 데이터에 대한 판단을 기반으로 전처리를 진행하면 도움이 됩니다. 문제에 주어진 조건을 잘 분석하고, 최대한 많은 변수를 활용하면서도 모델의 성능을 최적화하는 방법을 선택하는 것이 중요합니다.

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.

Sjj D님의 프로필 이미지
Sjj D

작성한 질문수

질문하기