분류실습2 데이터 전처리, 분할에 대해서
101
작성한 질문수 1
안녕하세요 선생님 분류실습2 섹터에서 학습하다가 궁금한 것이 생겨 질문합니다.
전체 로직에서 학습과 테스트 데이터셋으로 먼저 분할을 해준 뒤 전처리를 수행하는 것이 아니라 왜
전체 데이터셋에 전처리를 적용시킨 뒤에 학습과 테스트 데이터셋으로 분할이 되었는지 궁금합니다.
일반적인 상황에서 어떤 순서가 맞는 것인지 아니면 선생님만의 기준이 있는 것인지 궁금합니다.
답변 1
0
안녕하십니까,
학습과 테스트 데이터 세트로 분할 한 뒤 데이터 전 처리를 수행하는 것이 좀 더 보편적입니다. 특히 실시간 성으로 모델이 Predict해야 한다면, 해당 실시간 데이터는 모델 predict() 이전에 전 처리가 되어야 합니다. 학습과 테스트 데이터 분할 한 뒤 scaling/encoding 적용 시 유의 사항이 있기에 강의에서는 이를 이후에 설명드리기 위해 일단은 쉽게 접근 할 수 있게 데이터 전처리를 수행 후에 학습과 테스트 데이터 세트로 분할 합니다.
데이터 전처리를 수행 후에 학습과 테스트 데이터로 분할 하는 경우는 실시간이 아닌 배치성 모델 predict(예를 들어 바로 predict로 결과를 실시간성으로 예측하지 않고, 대량의 배치성 데이터로 predict를 수행 할 경우) 이면서 간단한 Baseline 정도로 테스트 할 경우 입니다.
감사합니다.
모델 서빙과 관련된 강좌가 출시되는지 질문드립니다.
0
4
1
안녕하세요 열심히 수강중인 학생입니다
0
63
2
정수 인덱싱
0
68
2
넘파이 오류
0
85
2
11강 numpy의 axis 축 질문 드립니다.
0
85
2
Kaggle 에서 Santander customer satisfaction data 를 다운로드 되지가 않습니다.
0
79
2
Feature importances 를 보여주는 barplot 이 그래프로 안보여져요.
0
70
2
타이타닉 csv 파일이 주피터 화면에 보이지 않습니다.
0
75
2
타이타닉 csv 파일이 주피터 화면에 보이지 않습니다.
0
64
2
5강 강의 오류가 있어요.
0
84
1
실무에서 LTV 관련 모델 선택 질문입니다!
0
72
2
14강 강의 듣는중에 궁금한게 있어서 질문합니다~
0
69
3
파이썬 다운그레이 후 사이킷런 재설치
0
117
2
좋은 강의 감사합니다.
0
74
2
scoring 함수 음수값
0
67
2
6번 강의에 사이킷런, 파이썬, 아나콘다 각각 버전 일치 안 시키고 진행해도 강의 따라가 지나요?
0
100
2
분류 평가 정확도 예측
0
79
2
안녕하세요. 강의 들으면서 업무에 적용하고 싶은 수강생입니다.
0
99
1
카카오톡 채널 있나요
0
108
1
혹시 강의에서 사용하시는 ppt 받을 수 있는건가요
0
190
2
pca 스케일링 관련하여 질문드립니다.
0
100
2
주피터 대신 구글 코랩
0
172
2
강의에서 사용하는 pdf or ppt자료는 따로 없는 건가요?
0
148
2
실루엣 스코어..
0
86
2