Decision Tree - Bagging

Bagging은 Bootstrap방법을 활용하는 방법으로, Decision Tree 모델의 최적의 성능을 이끌어내는데 많은 기여를 하고 있는 개념입니다. 앞서 정리한 것 처럼 Decision Tree는 상당히 과적합 문제에 취약하게 됩니다. Bagging을 활용하면 이와 같은 문제점을 다소 감소시킬 수 있습니다. Bagging은 Bootstrap aggregation의 약자인데, 이름에서 보는 것과 같이 Bootstrpa을 통해 Sample들을 만들고 여러 모델들의 결과 값을 집계하는 것입니다. 이를 통해 결과값의 안정성 확보를 도모합니다. 예시적으로, n개의 독립된 Sample들 $Z_1$,...,$Z_n$이 있다고 했을 때 이 Sample들의 평균의 Varicance는 $\sigma^2/n$이 되면서..

2021.10.19