보팅 배깅 부스팅 서브 샘플
312
작성한 질문수 2
학습을 하다가 궁금한 점이 생겼습니다.
보팅 계열의 알고리즘은 전체 데이터에서 여러가지 학습기를 순차적으로 적용한 것이고, 배깅은 하나의 학습기를 부트스트래핑 방식으로 여러가지 샘플 데이터를 만든 다음 적용하는 것으로 이해했습니다.
그렇다면 부스팅은 이 두 가지 방식을 혼합한것인가요? 즉, 하나의 학습기마다 부트 스트래핑 방식으로 서브 샘플들을 뽑은 다음 각각의 서로 다른 학습기들로 학습을 하는 것인가요? 아니면 보팅의 개념을 빌려 전체 데이터에서 가중치를 적용하면서 약한 학습기를 적용하는 것인가요?
학습하다가 궁금한점이 생겨 질문드립니다.
답변 1
0
안녕하십니까,
부스팅은 보팅, 배깅과 좀 다른 면이 있습니다.
부스팅은 개별 Weak Learner 들을 순차적으로 학습해 나가는 방식입니다. 이때 이전 Weak learner의 학습 오류를 개선하는 방향성으로 진행을 합니다.
AdaBoost의 경우는 예측 오류들을 개선해 나가는 Weak Learner들을 합쳐서 하나의 Strong Learner로 예측을 하는 것이고, Gradient Boosting은 Gradient Descent 방식으로 이전 Weak Learner들을 계속 학습 오류를 개선해 나가면서 새롭게 Weak Learner를 순차적으로 향상 시키는 모델입니다.
배깅이 병렬로 여러개의 Weak Learner들이 학습을 한 뒤 이를 voting 방식으로 결정하는 것과 다르게 부스팅은 순차적으로 이전 weak learner들의 성능을 계속 개선해 나가는 방식입니다.
감사합니다.
모델 서빙과 관련된 강좌가 출시되는지 질문드립니다.
0
24
2
안녕하세요 열심히 수강중인 학생입니다
0
68
2
정수 인덱싱
0
71
2
넘파이 오류
0
88
2
11강 numpy의 axis 축 질문 드립니다.
0
89
2
Kaggle 에서 Santander customer satisfaction data 를 다운로드 되지가 않습니다.
0
80
2
Feature importances 를 보여주는 barplot 이 그래프로 안보여져요.
0
71
2
타이타닉 csv 파일이 주피터 화면에 보이지 않습니다.
0
76
2
타이타닉 csv 파일이 주피터 화면에 보이지 않습니다.
0
65
2
5강 강의 오류가 있어요.
0
86
1
실무에서 LTV 관련 모델 선택 질문입니다!
0
74
2
14강 강의 듣는중에 궁금한게 있어서 질문합니다~
0
70
3
파이썬 다운그레이 후 사이킷런 재설치
0
122
2
좋은 강의 감사합니다.
0
75
2
scoring 함수 음수값
0
68
2
6번 강의에 사이킷런, 파이썬, 아나콘다 각각 버전 일치 안 시키고 진행해도 강의 따라가 지나요?
0
104
2
분류 평가 정확도 예측
0
80
2
안녕하세요. 강의 들으면서 업무에 적용하고 싶은 수강생입니다.
0
100
1
카카오톡 채널 있나요
0
110
1
혹시 강의에서 사용하시는 ppt 받을 수 있는건가요
0
191
2
pca 스케일링 관련하여 질문드립니다.
0
102
2
주피터 대신 구글 코랩
0
174
2
강의에서 사용하는 pdf or ppt자료는 따로 없는 건가요?
0
149
2
실루엣 스코어..
0
87
2