[ML] Ensemble Method(5) - XGBoost

🤔 Ensemble Method

통계학과 기계 학습에서 앙상블 학습법은 학습 알고리즘들을 따로 쓰는 경우에 비해 더 좋은 예측 성능을 얻기 위해 다수의 학습 알고리즘을 사용하는 방법 입니다.

 

 통계 역학에서의 통계적 앙상블과 달리 기계 학습에서의 앙상블은 대체 모델들의 단단한 유한 집합을 가리키지만, 일반적으로 그러한 대체 모델 사이에 훨씬 더 유연한 구조를 허용합니다.

 

이전 포스팅에서 배운 Gradient Boost의 경우 약간의 Overfit 현상이 일어날 수 있습니다.

 

이번 포스팅에서는 이를 해결한 XGBoost기법에 대해 알아보도록 하겠습니다.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

🔎 XGBoost(Extreme Gradient Boost)

XGBoost는 이름부터 Gradient Boost의 끝판왕이라는 것을 알려주고 있습니다.

 

GB의 경우 weak learner를 100개 이상 사용하기 때문에 Overfit이 일어날 수 밖에 없습니다.

 

결론적으로 XGBoost는 Gradient Boost의 Overfit을 방지하기 위해 Regularization을 적용한 모델입니다.

 

 

 

✍ Similarity

아래와 같은 데이터가 존재할 때 Initial Guess는 평균으로 0.5의 값을 가지고 있다고 가정하겠습니다.

 

또한 각각 +2, -3, -1, +4의 residual을 가지고 있다고 가정하겠습니다.

 

 

 

 

이때 XGBoost는 Similarity라는 Term을 사용합니다.

 

주의해야 할 점은 $\sum(res)^2$가 아닌 $(\sum{res})^2$의 값을 사용한다는 것입니다.

 

이를 Data의 개수로 나눠주어 평균을 구합니다.( $\lambda$는 나중에 설명 )

 

 

 

해당 과정을 실제로 계산하면 $Similarity = \frac{2^2}{4} = 1$을 얻을 수 있습니다.

 

Similarity는 Residual을 더해서 제곱을 했기 때문에 Residual사이에 zero-sum이 발생한다면 값이 감소합니다.

 

반대로 한 가지 부호의 값들만 존재할 때 Similarity가 증가합니다.

 

 

 

 

 

 

 

✍ 분기이후의 Similarity

아래의 그림에서 파란선 좌측을 $Sim_L$ 우측을 $Sim_R$이라고 하겠습니다.

 

 

이때 $Sim_L = \frac{4}{1} = 4$, $Sim_R = \frac{(4 - 1 - 3)^2}{3} = 0$의 값을 가집니다.

 

즉, Guess로 부터 같은 방향의 데이터만 존재한다면 더 높은 Similarity의 값을 가집니다.

 

이때 우리가 Tree에서 Information Gain을 구하듯이 Gain을 구할 수 있습니다.

 

$$Gain = Sim_r + SimL - Sim_{parent}$$

 

즉, 자식 노드들의 Similarity에서 부모 노드의 Similarity를 빼주면 됩니다.

 

예시를 통해 계산하면 $Gain =  0 + 4 - 1 = 3$인데 만약 $Gain < \gamma$라면 prune 즉, 분기하라는 뜻입니다.

 

해당 방법을 통해 계속 분기하는 것이 XGBoost입니다.

 

 

 

주확색 선을 기준으로 한 번의 분기를 더 거쳤다고 하겠습니다

 

 

 

 

이때, $Sim_L = \frac{16}{2} = 8$, $Sim_R = \frac{16}{1} = 16$ 이므로 $Gain = 24 - 0 = 24$입니다.

 

Gain을 통해 계속 분기를 해가면서 데이터를 한 쪽으로 몰아나갑니다.

 

데이터 분기를 위해 잘랐을 때 데이터가 양쪽에 존재한다면 Similarity가 떨어지기 때문에 데이터를 계속 구석으로 몰아가야만 합니다.

 

 

 

앞에서 말했던 $\lambda$ 는 Regularization Term입니다.

 

$\lambda$를 이용하여 분모의 값을 크게 하여 Similarity가 너무 큰 값이 나온다면 Overfit 할 수 있기 떄문에 둔감하게 만들 수 있습니다.

 

즉, Similarity 값을 낮춰서 Regularization 효과를 주는 것입니다.

 

그러면 Gain의 값이 $\gamma$보다 낮아지게 되고 prune이 될 가능성 높아집니다.

 

이는 너무 많이 분기하지 말고 적당히 분기하라는 의미가 됩니다.

 

 

 

 

 

 

 

 

 

✍ XGBoost Algorithm

XGBoost의 알고리즘은 참고만 하시기 바랍니다.

 

 

 

 

 

 

 

 

 

 

 

지금까지 앙상블 기법에 대해 알아보았습니다.

 

다음 포스팅에서는 NN(Neural Networks)에 대해 학습하겠습니다.