교수님 안녕하세요~
256
작성한 질문수 7
1. Test 데이터로 하면 왜 overfitting인지 궁금합니다.
2. 학습을 시키거나 예측을 할 때 X_trian이나 y_train,y_test, pred등의 형태가 정해져있나요?
예를들어 데이터세트가 4*4행렬이라면 feature는 4*3, target은 4*1인데 학습하고 예측할 때 어떤 행렬의 모습을 가지고 들어가야하는지 궁금합니다.
답변 1
0
안녕하십니까,
1. 잘 아시다시피 원래는 테스트 데이터를 학습시에 사용하게 되면 최종적으로 성능을 평가하는 테스트 데이트를 가지고 학습을 하는 것이기 때문에 오버피팅이 됩니다.(즉 수능 시험지/답안지를 가지고 모의고사시험을 보는것과 비슷합니다) 예를 들어 fit(피처 데이터세트, target 데이터 세트)인데 여기에 메타 모델 학습시, lr_final.fit(preds, y_test) 호출시 테스트 데이터를 사용했습니다 . 데이터 세트가 부족해서 설명을 위해서 부득이하게 사용했기 때문에 미리 overfitting이라고 말씀드렸습니다.
2. 정확히 질문을 이해하지는 못했습니다만,(아래 글이 원하시는 답변이 아니면 다시 말씀해 주십시요)
네, 학습/예측 시 array의 형태가 정해져있습니다. 데이터세트가 4*4행렬이라면 feature는 4*3, target은 4*1 라면 , 즉 데이터가 10건있고, feature 종류가 3개, 최종 target값이 있다고 한다면 X_train은 일반적으로 학습용 피처 데이터 세트이어서 데이터 10건 중에 학습 데이터용으로 7건을 할당한다고 가정한다면, X_train은 7(건) x 3(피처수) 행렬, y_train은 7(건), 1차원 행렬, X_test는 (전체 데이터 건수 - X_train 에 할당된 건수 )3 x 3(피처수) 행렬, y_test는 3(건), 1차원 행렬, preds는 X_test값이 입력되므로 3건, 1차원 행렬이 반환됩니다.
감사합니다.
안녕하세요 열심히 수강중인 학생입니다
0
61
2
정수 인덱싱
0
68
2
넘파이 오류
0
85
2
11강 numpy의 axis 축 질문 드립니다.
0
85
2
Kaggle 에서 Santander customer satisfaction data 를 다운로드 되지가 않습니다.
0
79
2
Feature importances 를 보여주는 barplot 이 그래프로 안보여져요.
0
70
2
타이타닉 csv 파일이 주피터 화면에 보이지 않습니다.
0
75
2
타이타닉 csv 파일이 주피터 화면에 보이지 않습니다.
0
64
2
5강 강의 오류가 있어요.
0
84
1
실무에서 LTV 관련 모델 선택 질문입니다!
0
72
2
14강 강의 듣는중에 궁금한게 있어서 질문합니다~
0
69
3
파이썬 다운그레이 후 사이킷런 재설치
0
117
2
좋은 강의 감사합니다.
0
72
2
scoring 함수 음수값
0
67
2
6번 강의에 사이킷런, 파이썬, 아나콘다 각각 버전 일치 안 시키고 진행해도 강의 따라가 지나요?
0
100
2
분류 평가 정확도 예측
0
76
2
안녕하세요. 강의 들으면서 업무에 적용하고 싶은 수강생입니다.
0
98
1
카카오톡 채널 있나요
0
107
1
혹시 강의에서 사용하시는 ppt 받을 수 있는건가요
0
189
2
pca 스케일링 관련하여 질문드립니다.
0
100
2
주피터 대신 구글 코랩
0
172
2
강의에서 사용하는 pdf or ppt자료는 따로 없는 건가요?
0
147
2
실루엣 스코어..
0
85
2
float64 null 값 처리 방법
0
102
2