보팅 배깅 부스팅 서브 샘플

안녕하십니까,

부스팅은 보팅, 배깅과 좀 다른 면이 있습니다.

부스팅은 개별 Weak Learner 들을 순차적으로 학습해 나가는 방식입니다. 이때 이전 Weak learner의 학습 오류를 개선하는 방향성으로 진행을 합니다.

AdaBoost의 경우는 예측 오류들을 개선해 나가는 Weak Learner들을 합쳐서 하나의 Strong Learner로 예측을 하는 것이고, Gradient Boosting은 Gradient Descent 방식으로 이전 Weak Learner들을 계속 학습 오류를 개선해 나가면서 새롭게 Weak Learner를 순차적으로 향상 시키는 모델입니다.

배깅이 병렬로 여러개의 Weak Learner들이 학습을 한 뒤 이를 voting 방식으로 결정하는 것과 다르게 부스팅은 순차적으로 이전 weak learner들의 성능을 계속 개선해 나가는 방식입니다.

감사합니다.