Decision Tree - Boosting

Boosting은 용어에서 느껴지듯이 점점 강력한(예측력, 정확도가 높은) 모델을 만들어가는 알고리즘입니다. Weak learner에서 Strong learner로 발전하게 되는데, parallel하게 모형을 학습하여 조합하는 bagging과 다르게 sequential하게 만들어진 모델들을 조합하는 방식입니다. Boosting 모델 중에서 gradient boosting model - 2tree을 예시로 Boosting concept를 정리해보겠습니다. 1) 실제값에 적합, $y=f_1(x)$ 2) 첫번째 모형의 오차에 적합, $y-f_1(x) = f_2(x)$ 3) 최종 예측값 결정, $\widehat{y} = f_1(x) + f_2(x)$ 위에서 확인하는 것처럼, 첫번째 모형의 결과가 두번째 모형에도..

2022.01.02