[ML] Ensemble Method(6) - Summary

🤔 Ensemble Method

통계학과 기계 학습에서 앙상블 학습법은 학습 알고리즘들을 따로 쓰는 경우에 비해 더 좋은 예측 성능을 얻기 위해 다수의 학습 알고리즘을 사용하는 방법 입니다.

 

 통계 역학에서의 통계적 앙상블과 달리 기계 학습에서의 앙상블은 대체 모델들의 단단한 유한 집합을 가리키지만, 일반적으로 그러한 대체 모델 사이에 훨씬 더 유연한 구조를 허용합니다.

 

복습 겸으로 Summary를 진행하겠습니다.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

🔎 Bagging

Bagging 알고리즘에는 기본적인 Bagging과 RandomForest가 존재했습니다.

 

Bagging 알고리즘의 특징으로는 Low bias / High Variance인 base learner들을 통해 cutting해나가는 방식입니다.

 

즉, Overfit한 모델을 통해 cutting을 진행합니다.

 

Bagging 알고리즘은 병렬적으로 학습을 진행합니다.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

🔎  Boosting

Boosting 알고리즘에는 AdaBoost, Gradient Boost, XGBoost가 존재했습니다.

 

Boosting 알고리즘의 특징으로는 High bias / Low Variance 인 base learner들을 통해 boosting 해나가는 알고리즘이었습니다.

 

즉, underfit한 weak learner 모델들을 통해 학습을 진행합니다.

 

Boosting 알고리즘은 순차적으로 학습을 진행합니다.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

🔎 공통점

핵심적으로 둘 모두가 View Point를 보장해줘야 합니다.

 

View Point의 차별성을 각각의 base learner에게 보장을 해야 합니다.

 

Bagging의 경우 boostrapping을 했으며 Random Forest의 경우 변수를 랜덤하게 선택하는 방법을 추가했습니다.

 

Boosting의 경우 Adaboost에서 Error를 기반으로, Gradient Boost의 경우 residual을 따라가는 방식이었습니다.

 

즉, 각각의 Tree가 다른 내용으로 학습을 할 수 있어야 했습니다.

 

 

 

Bagging과 AdaBoost의 시대에서는 Bagging이 더 좋은 결과를 낸다고 생각했습니다.

 

또한 RandomForest가 개발 된 후에 Random Forest가 가장 좋다고 했습니다.

 

결과적으로 AdaBoost < Bagging < RF < GBM < XGBoost 의 경향을 보였습니다.

 

항상 그렇다는 것이 아니라 데이터에 따라 결과가 달라집니다.

 

 

 

해당 알고리즘들은 딥러닝에 비견될 정도로 오랫동안 살아남아있는 우수한 알고리즘이라고 할 수 있습니다.

 

 

 

설명력이 필요한 알고리즘을 사용해야 할 때 위의 알고리즘을 사용하면 됩니다.

 

 

 

또한 둘 모두 하이퍼 파라미터 세팅이 쉽다는 장점이 있습니다. ( 딥러닝에 비해 )