[ML] Ensemble Method(3) - AdaBoost

🤔Ensemble Method(앙상블 학습법)

통계학과 기계 학습에서 앙상블 학습법은 학습 알고리즘들을 따로 쓰는 경우에 비해 더 좋은 예측 성능을 얻기 위해 다수의 학습 알고리즘을 사용하는 방법 입니다.

 

 통계 역학에서의 통계적 앙상블과 달리 기계 학습에서의 앙상블은 대체 모델들의 단단한 유한 집합을 가리키지만, 일반적으로 그러한 대체 모델 사이에 훨씬 더 유연한 구조를 허용합니다.

 

이전 포스팅에서 배운 Bagging의 경우 BaseLearner로 Overfit한 모델들을 사용한다고 했습니다.

 

즉, Low Bias / High Variance의 특징을 가지고 있는 모델을 smoothing 효과를 통해 성능을 높여주는 방식을 사용합니다.

 

또한 이들을 병렬적으로 사용합니다.

 

굉장히 좋은 Performance를 보여주는 대표적인 Bagging 모델은 Random Forest였습니다.

 

이번 포스팅에서는 앙상블 학습법 중 Bagging과 반대되는 개념인 Boosting 기법에 대해 배워보겠습니다. 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

🔎 Boosting Ensemble

Boosting 기법은 High bias / Low Variance 모델을 통해서 bias를 cutting하는 기법입니다.

 

즉, Underfit한 모델들을 통해 성능을 높이는 방식이라고 할 수 있습니다.

 

Bagging은 병렬적이라고 했다면 Boosting의 경우에는 순차적(Sequential)인 학습을 진행합니다.

 

Boosting의 경우 Underfit한 모델을 사용하기 때문에 항상 View Point가 달라집니다.

 

각 Iterration 마다 View Point를 다르게 하기 위한 작업이 필요하기 때문에 데이터를 조금 바꾸는 것으로는 어려움이 있습니다.

 

 

 

가장 기본적인 Boosting 기법에는 AdaBoost가 있습니다.

 

 

 

 

 

 

 

 

✍ AdaBoost

간략히 설명하자면 training error에 비례하게 매번 sequence 마다 선택을 하는 기법입니다.

 

아래의 그림을 통해 AdaBoost의 과정을 알아보겠습니다.

 

 

 

 

 

 

 

1. 먼저 데이터를 sampling을 하여 $C_1$과 같이 모델을 생성합니다.(이는 Boostrapping은 아닌데, Boostrapping의 경우 데이터의 사이즈를 유지하기 때문입니다.)

2. 해당 모델에서 틀린 데이터를 위주로 sampling을 진행합니다.

3. 2번과정을 반복합니다.

4. 해당 모델들을 조합하여 마지막 모델을 생성합니다.

 

 

 

위의 방법을 통해 각각의 Sequence들이 서로 다른 Viewpoint를 가질 수 있습니다.

 

그러므로 Boosting의 경우 sequential한 방법을 사용한다고 할 수 있습니다.

 

 

 

 

 

AdaBoost 알고리즘 분석

AdaBoost의 경우 해당 알고리즘 까지만 해도 Bagging보다 좋지 않다는 평이 많았습니다.

 

해당 알고리즘의 분석을 진행하겠습니다.

 

 

 

 

 

1. 모든 가중치를 동일하게 부여합니다. ( $w_i = \frac{1}{N}$ )

2. 이후 Sequential 하게 1부터 M까지 Boosting을 진행합니다.

  (a) 각각의 sequence에서 학습을 진행합니다. 이때 $w_i$의 weight를 가지고 학습을 진행합니다.

  (b) error를 계산합니다. $y_i \neq G_m(x_i)$는 예측을 실패한 값을 의미합니다. 즉, Model의 학습 에러(전체 가중치 합에 대한 틀린 값의 가중치의 합)를 의미합니다.

  (c) $\alpha_m$을 계산하는데 이는 에러에 대한 정확도를 의미합니다. 그러므로 $\alpha_m$의 값이 클 수록 정확한 모델이며 작을 수록 부정확한 모델임을 의미합니다.

  (d)  weight를 업데이트 합니다. i번째의 weight를 $exp(\alpha_m \times I(y_i \neq G_m(x)))$ 으로 업데이트 합니다. 즉, 틀린 값에 대해서만 $alpha_m$을 weight에 곱해줍니다. 그러므로 정확한 모델을 사용했음에도 불구하고 틀린 값만을 연산하기 때문에 해당 weight를 증가시키는 것입니다. 반대로 부정확한 모델을 사용한다면 weight가 적게 증가하거나 감소할 수 있습니다. 이후 다음 모델을 생성할 때에도 weight에 기반하여 모델을 생성하기 때문에 틀린 값의 weight를 증가하여 학습을 진행한다면 이전의 모델에서 틀린 부분을 더 집중해서 모델을 생성하게 됩니다. 이를 반복합니다.

3. 각각의 모델을 Sum 해주는데 $a_m$을 곱해주어 진행합니다. 즉, 정확한 모델이었다면 더 큰 가중치를 부여한다고 생각하면 됩니다.

 

 

이를 그림을 통해 확인하면 아래와 같습니다.

 

 

 

 

 

 

첫 번째 Iteration에서 틀린 것들을 맞추기 위해 노력합니다.

 

마찬가지로 두 번째 Iteration에서 틀린 것들을 맞추기 위해 노력합니다.

 

이후 각각의 값들을 가중치를 곱해서 더해줍니다.

 

위의 방법을 통해 Underfit한 (High bias / Low variance) 모델들을 통해 좋은 모델을 생성할 수 있습니다.

 

 

 

 

 

 

 

 

 

 

다음 포스트에서는 조금 더 개선된 모델인 Gradient Boost와 XGBoost 알고리즘에 대해 알아보겠습니다.