XGBoost나 LightGBM의 eval_set질문
281
작성한 질문수 2
evaluation 데이터로는 과적합 문제때문에 test셋을 사용하면 안 된다고 재차 설명을 해주셨는데, 만약 test셋을 사용하지 않으면 어떻게 evaluation데이터를 찾아내어 사용해야 되는지, 또한(문제마다 다르겠지만) 다른 문제에서 evalution데이터를 어떻게 구해야 하는지 궁금합니다.
답변 2
1
안녕하십니까,
정확하게 제가 질문을 이해하고 답변을 드리는 건지 약간 애매한 부분이 질문에 있습니다. 원하시는 답변이 아니면 다시 말씀해 주십시요.
evaluation은 학습이 제대로 되고 있는지 방향성을 알려 줍니다. 즉 학습 데이터와 검증 데이터로 나누고, 학습을 수행하면서 평가를 검증 데이터로 계속 진행합니다. 학습데이터로만 오차가 적은 방향으로 계속 update되면 오버 피팅이 되기 때문에 검증 데이터로 오차가 적은 방향이 되는지 계속 확인하면서 올바른 방향성으로 가는지 확인하는 것입니다.
보통은 evaluation 데이터를 학습 데이터의 일부를 쪼개서 별도로 구성합니다. 테스트 데이터는 아예 학습/검증 데이터가 아닌 다른 데이터로 사용을 합니다.
감사합니다.
안녕하세요 열심히 수강중인 학생입니다
0
59
2
정수 인덱싱
0
67
2
넘파이 오류
0
83
2
11강 numpy의 axis 축 질문 드립니다.
0
84
2
Kaggle 에서 Santander customer satisfaction data 를 다운로드 되지가 않습니다.
0
76
2
Feature importances 를 보여주는 barplot 이 그래프로 안보여져요.
0
68
2
타이타닉 csv 파일이 주피터 화면에 보이지 않습니다.
0
74
2
타이타닉 csv 파일이 주피터 화면에 보이지 않습니다.
0
63
2
5강 강의 오류가 있어요.
0
82
1
실무에서 LTV 관련 모델 선택 질문입니다!
0
71
2
14강 강의 듣는중에 궁금한게 있어서 질문합니다~
0
68
3
파이썬 다운그레이 후 사이킷런 재설치
0
115
2
좋은 강의 감사합니다.
0
71
2
scoring 함수 음수값
0
66
2
6번 강의에 사이킷런, 파이썬, 아나콘다 각각 버전 일치 안 시키고 진행해도 강의 따라가 지나요?
0
98
2
분류 평가 정확도 예측
0
75
2
안녕하세요. 강의 들으면서 업무에 적용하고 싶은 수강생입니다.
0
97
1
카카오톡 채널 있나요
0
105
1
혹시 강의에서 사용하시는 ppt 받을 수 있는건가요
0
187
2
pca 스케일링 관련하여 질문드립니다.
0
100
2
주피터 대신 구글 코랩
0
170
2
강의에서 사용하는 pdf or ppt자료는 따로 없는 건가요?
0
145
2
실루엣 스코어..
0
83
2
float64 null 값 처리 방법
0
101
2