머신러닝 알고리즘에서 데이터 수가 적다는 의미
593
작성한 질문수 104
선생님~
교차검증 할 때, test_data까지 포함한 이유에 대해서
선생님께서
'여기서는 test_data까지 포함해서 cross_val_score() 를 수행한 이유는 단순히 데이터 건수가 너무 적어서 입니다.' 라고 하셨던
답변을 봤었는데요.
이 답변을 보고 궁금한 점이..데이터 수가 적다는 의미의 크기는
어느정도 인가요..?
(예를 들면, 통계에서 중심극한정리로 모수 통계분석은 n수가 30 이상이어야 정규분포를 따르므로 30 이상의 데이터가 좋은 것처럼..)
답변 1
0
데이터 수가 적고/많음의 기준을 딱 정할 수는 없습니다.
일반적으로 데이터 수가 많아도 업무적인 환경을 다 반영하지 못하면 좋은 데이터 셋이 아닙니다.
가령 색깔 판정을 할때, 빨강 데이터는 무척 많고, 파랑 데이터는 매우 적은 학습 데이터가 있지만, 실제로는 빨강과 파랑이 동일한 비율로 존재하는 업무라면 아무리 학습 데이터가 많아도 좋은 데이터가 아닙니다.
일반적으로 데이터의 건수로 적다/많다를 정할 수는 없지만 경험상 업무적인 조건이 어느정도 반영이 되었다면 1000건 이하는 적은 데이터라고 개인적으로 생각합니다. 하지만 이는 업무적인 특성에 따라 얼마든지 달라 질수 있습니다.
안녕하세요 열심히 수강중인 학생입니다
0
59
2
정수 인덱싱
0
67
2
넘파이 오류
0
83
2
11강 numpy의 axis 축 질문 드립니다.
0
84
2
Kaggle 에서 Santander customer satisfaction data 를 다운로드 되지가 않습니다.
0
76
2
Feature importances 를 보여주는 barplot 이 그래프로 안보여져요.
0
68
2
타이타닉 csv 파일이 주피터 화면에 보이지 않습니다.
0
74
2
타이타닉 csv 파일이 주피터 화면에 보이지 않습니다.
0
62
2
5강 강의 오류가 있어요.
0
82
1
실무에서 LTV 관련 모델 선택 질문입니다!
0
71
2
14강 강의 듣는중에 궁금한게 있어서 질문합니다~
0
68
3
파이썬 다운그레이 후 사이킷런 재설치
0
115
2
좋은 강의 감사합니다.
0
71
2
scoring 함수 음수값
0
66
2
6번 강의에 사이킷런, 파이썬, 아나콘다 각각 버전 일치 안 시키고 진행해도 강의 따라가 지나요?
0
98
2
분류 평가 정확도 예측
0
75
2
안녕하세요. 강의 들으면서 업무에 적용하고 싶은 수강생입니다.
0
97
1
카카오톡 채널 있나요
0
105
1
혹시 강의에서 사용하시는 ppt 받을 수 있는건가요
0
187
2
pca 스케일링 관련하여 질문드립니다.
0
100
2
주피터 대신 구글 코랩
0
170
2
강의에서 사용하는 pdf or ppt자료는 따로 없는 건가요?
0
145
2
실루엣 스코어..
0
83
2
float64 null 값 처리 방법
0
101
2