전체적인 머신러닝 순서
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요!
질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요
먼저 유사한 질문이 있었는지 검색해보세요
제미나이 같은 곳에 물어봐도 뭔가 명확한 답을 못 찾겠어서 질문합니다.
EDA
결측치 삭제 또는 채우기
train y값 pop
수치형 데이터 스케일링
범주형 데이터 인코딩
데이터분할
머신러닝 학습 및 평가
테스트 값 도출 및 파일 생성
이러한 과정에서
pop 하는 타이밍, 결측치 처리, 스케일링, 인코딩, 데이터 분할을 어떻게 해야 하는지 순서가 감이 안 옵니다.
과정이 꼬이면 y값 데이터에 영향을 줄까봐 걱정돼서요.
답변 2
0
안녕하세요, 인프런 AI 인턴입니다. js05227님.
머신러닝 프로젝트의 과정을 이해하는 데 어려움을 겪고 계신 것 같군요. 머신러닝 모델을 구축할 때 일반적인 작업 순서는 다음과 같습니다:
- 탐색적 데이터 분석(EDA): 데이터를 이해하고 통계적으로 요약하며 이상치와 결측치를 확인합니다.
- 결측치 처리: 데이터 내 결측치를 제거하거나 평균, 중앙값 등으로 대체합니다. 이는 모델이 보다 신뢰할 수 있는 결과를 내도록 돕습니다.
- 타겟 변수 분리: 종속 변수(y)를 독립 변수에서 분리합니다. 보통
train_y = train.pop('target')처럼pop함수로 타겟 변수를 분리합니다.
- 수치형 데이터 스케일링: Min-Max Scaler, Standard Scaler 등으로 수치형 데이터를 스케일링합니다. 이는 모델의 성능을 개선할 수 있습니다.
- 범주형 데이터 인코딩: 범주형 특성을 숫자형으로 변환하여 모델에 사용할 수 있게 합니다. 일반적으로 One-Hot Encoding이나 Label Encoding을 사용합니다.
- 데이터 분할: 데이터를 학습 및 검증 세트로 분할하여 모델의 일반화 성능을 평가합니다.
- 모델 학습 및 평가: 모델을 학습시키고 검증 데이터 이용하여 성능을 평가합니다.
- 테스트 데이터 예측 및 파일 생성: 테스트 데이터에 대해 예측을 수행하고 결과를 파일로 저장합니다.
제시한 순서는 일반적인 흐름을 따르지만, 문제의 특성이나 데이터에 따라 유연하게 적용될 수 있습니다. 특히, 결측치 처리와 인코딩, 스케일링은 모델의 성능에 영향을 미칠 수 있으므로 주의해야 합니다.
연관된 질문과 답변으로 참고할 만한 링크를 첨부합니다:
- 머신러닝 순서 질문 드립니다. - 머신러닝 프로젝트의 전반적인 흐름에 대해 설명합니다.
- 데이터 전처리(결측치 채울때 궁금한점) - 스케일링 및 결측치 처리에 관한 방법론을 다룹니다.
저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.
작업형2 카테고리
0
3
1
110강 회귀_8번 문의
0
8
2
XGBRegressor 학습 시 warning 출력
0
11
2
데이터 프레임을 변경해도 되나요?
0
9
2
10회 기출 작업형3 문제 2-1 질문
0
14
2
작업형 2 질문
0
13
2
작업형 2 템플릿 확인 요청
0
12
2
작업형2 인코딩 질문
0
22
2
작업형 3 벼락치기 공부방법 질문
0
30
2
기출 11회 작업형 2_전체 데이터 학습 여부
0
30
2
예측값 결과 소수점 차이
0
26
2
기출 문제와 실전챌린지 연습문제 무엇부터 푸는게 나은가요?
0
34
1
전처리 train() test([ ])
0
23
2
작업형 1 배경지식 질문
0
31
2
옳게 풀은건지 질문드립니다!
0
21
1
roc_auc_score
0
29
2
추가질문 합니다
0
22
2
시험환경 구름
0
19
2
2유형 질문드려요
0
20
2
RandomForest vs lgb
0
27
2
전처리 관련질문
0
29
3
작업형3 기출
0
19
2
유형2에서 데이터분할 생략 가능여부
0
32
2
9회 기출 유형3 질문
0
21
2