xgboost의 n_estimators
239
작성한 질문수 2
xgboost의 모델은 decision tree의 형식을 따르는 걸까요? n_estimators값 만큼의 반복 수행을 하며 decision tree의 가중치를 수정해나가는 방식으로 이해하였는데 맞는지 궁금합니다. 그리고 xgb가 왜 앙상블 기법인지에 대해서도 약간 이해가 잘 안되서 설명 부탁드립니다!
답변 1
0
안녕하십니까,
n_estimators값 만큼의 반복 수행을 하며 decision tree의 가중치를 수정해나가는 방식으로 이해하였는데 맞는지 궁금합니다
=> 네, 맞습니다. 정확히는 decision tree와 유사한 방식의 weak tree의 가중치를 수정해 나가는 방식입니다.
그리고 xgb가 왜 앙상블 기법인지에 대해서도 약간 이해가 잘 안되서 설명 부탁드립니다
=> XGBoost는 GBM 방식으로 동작합니다. 1개의 Tree가 아니라, 여러개의 Tree를 순차적으로 결합하여 만들어 집니다. 그러니까 1개의 tree기반으로 1번 모델이 만들어졌으면 2번째 tree에서는 1번 모델의 오류를 줄이도록 Gradient 값을 재 계산하여 2번 모델을 만들어서 1번 모델과 2번 모델을 결합하여 예측한 뒤 이 모델의 예측값이 줄이는 방향으로 3번째 tree에서 3번 모델을 만든 다음에 1번모델 + 2번 모델 + 3번 모델 을 결합하여 예측하는 방식으로 순차적으로 진행하는 방식이 GBM이며, 여러 모델들이 결합하여 학습/예측되므로 앙상블 방식입니다
감사합니다.
모델 서빙과 관련된 강좌가 출시되는지 질문드립니다.
0
19
2
안녕하세요 열심히 수강중인 학생입니다
0
63
2
정수 인덱싱
0
69
2
넘파이 오류
0
85
2
11강 numpy의 axis 축 질문 드립니다.
0
87
2
Kaggle 에서 Santander customer satisfaction data 를 다운로드 되지가 않습니다.
0
79
2
Feature importances 를 보여주는 barplot 이 그래프로 안보여져요.
0
70
2
타이타닉 csv 파일이 주피터 화면에 보이지 않습니다.
0
75
2
타이타닉 csv 파일이 주피터 화면에 보이지 않습니다.
0
64
2
5강 강의 오류가 있어요.
0
85
1
실무에서 LTV 관련 모델 선택 질문입니다!
0
72
2
14강 강의 듣는중에 궁금한게 있어서 질문합니다~
0
69
3
파이썬 다운그레이 후 사이킷런 재설치
0
119
2
좋은 강의 감사합니다.
0
74
2
scoring 함수 음수값
0
67
2
6번 강의에 사이킷런, 파이썬, 아나콘다 각각 버전 일치 안 시키고 진행해도 강의 따라가 지나요?
0
101
2
분류 평가 정확도 예측
0
79
2
안녕하세요. 강의 들으면서 업무에 적용하고 싶은 수강생입니다.
0
99
1
카카오톡 채널 있나요
0
108
1
혹시 강의에서 사용하시는 ppt 받을 수 있는건가요
0
190
2
pca 스케일링 관련하여 질문드립니다.
0
100
2
주피터 대신 구글 코랩
0
172
2
강의에서 사용하는 pdf or ppt자료는 따로 없는 건가요?
0
148
2
실루엣 스코어..
0
86
2