AI/Machine Learning
[ML] Ensemble Method(5) - XGBoost
🤔 Ensemble Method 통계학과 기계 학습에서 앙상블 학습법은 학습 알고리즘들을 따로 쓰는 경우에 비해 더 좋은 예측 성능을 얻기 위해 다수의 학습 알고리즘을 사용하는 방법 입니다. 통계 역학에서의 통계적 앙상블과 달리 기계 학습에서의 앙상블은 대체 모델들의 단단한 유한 집합을 가리키지만, 일반적으로 그러한 대체 모델 사이에 훨씬 더 유연한 구조를 허용합니다. 이전 포스팅에서 배운 Gradient Boost의 경우 약간의 Overfit 현상이 일어날 수 있습니다. 이번 포스팅에서는 이를 해결한 XGBoost기법에 대해 알아보도록 하겠습니다. 🔎 XGBoost(Extreme Gradient Boost) XGBoost는 이름부터 Gradient Boost의 끝판왕이라는 것을 알려주고 있습니다. GB..
[ML] Ensemble Method(4) - Gradient Boost
🤔 Ensemble Method 통계학과 기계 학습에서 앙상블 학습법은 학습 알고리즘들을 따로 쓰는 경우에 비해 더 좋은 예측 성능을 얻기 위해 다수의 학습 알고리즘을 사용하는 방법 입니다. 통계 역학에서의 통계적 앙상블과 달리 기계 학습에서의 앙상블은 대체 모델들의 단단한 유한 집합을 가리키지만, 일반적으로 그러한 대체 모델 사이에 훨씬 더 유연한 구조를 허용합니다. 이전 포스팅에서 배운 Boosting 알고리즘을 발전시킨 Gradient Boost에 대해 알아보도록 하겠습니다. 🔎 Gradient Boost Gradient Boost를 알기 위해 Gradient의 개념을 알아야 합니다. Gradient는 기울기 즉 1차 미분 값이라는 뜻입니다. 나중에 배우게 될 NN과 딥러닝알고리즘이 결국에는 기울기..
[ML] Ensemble Method(3) - AdaBoost
🤔Ensemble Method(앙상블 학습법) 통계학과 기계 학습에서 앙상블 학습법은 학습 알고리즘들을 따로 쓰는 경우에 비해 더 좋은 예측 성능을 얻기 위해 다수의 학습 알고리즘을 사용하는 방법 입니다. 통계 역학에서의 통계적 앙상블과 달리 기계 학습에서의 앙상블은 대체 모델들의 단단한 유한 집합을 가리키지만, 일반적으로 그러한 대체 모델 사이에 훨씬 더 유연한 구조를 허용합니다. 이전 포스팅에서 배운 Bagging의 경우 BaseLearner로 Overfit한 모델들을 사용한다고 했습니다. 즉, Low Bias / High Variance의 특징을 가지고 있는 모델을 smoothing 효과를 통해 성능을 높여주는 방식을 사용합니다. 또한 이들을 병렬적으로 사용합니다. 굉장히 좋은 Performance..
[ML] Ensemble Method(2) - Bagging & Random Forest
🤔 Ensemble Method 통계학과 기계 학습에서 앙상블 학습법은 학습 알고리즘들을 따로 쓰는 경우에 비해 더 좋은 예측 성능을 얻기 위해 다수의 학습 알고리즘을 사용하는 방법 입니다. 통계 역학에서의 통계적 앙상블과 달리 기계 학습에서의 앙상블은 대체 모델들의 단단한 유한 집합을 가리키지만, 일반적으로 그러한 대체 모델 사이에 훨씬 더 유연한 구조를 허용합니다. 이번 포스팅에서는 앙상블 기법 중 Bagging에 대해 알아보려고 합니다. 🔎 About Ensemble 앙상블은 둘 이상의 Base Learner와 그것들의 결과를 결합하여 예측값을 반환합니다. 이때 각각의 Learner들은 달라야만 합니다. 각각의 Learner가 서로 다른 view point를 가지고 있어야 하기 때문입니다. 이에 대..
[ML] Ensemble Method(1) - 편향-분산 딜레마(Bias-Variance Dilemma)
🤔Ensemble Method(앙상블 학습법) 통계학과 기계 학습에서 앙상블 학습법은 학습 알고리즘들을 따로 쓰는 경우에 비해 더 좋은 예측 성능을 얻기 위해 다수의 학습 알고리즘을 사용하는 방법 입니다. 통계 역학에서의 통계적 앙상블과 달리 기계 학습에서의 앙상블은 대체 모델들의 단단한 유한 집합을 가리키지만, 일반적으로 그러한 대체 모델 사이에 훨씬 더 유연한 구조를 허용합니다. 이번 포스팅에서는 앙상블 학습법을 배우기 전 편향과 분산사이의 딜레마에 대해 알아보려고 합니다. 🔎 편향 분산 딜레마 앙상블에 대해 조금 쉽게 설명하기 위해 예시를 들어보겠습니다. 위의 그림과 같이 한 가지의 문제에 대해 여러가지의 모델을 사용하여 학습을 진행한다고 하겠습니다. 이때 한 개의 모델이 학습하는 문제가 Train..