AI

[ML] Neural Network(1) - Introduction

🤔 Neural Networks 인공신경망(人工神經網, 영어: artificial neural network, ANN)은 기계학습과 인지과학에서 생물학의 신경망(동물의 중추신경계중 특히 뇌)에서 영감을 얻은 통계학적 학습 알고리즘입니다. 인공신경망은 시냅스의 결합으로 네트워크를 형성한 인공 뉴런(노드)이 학습을 통해 시냅스의 결합 세기를 변화시켜, 문제 해결 능력을 가지는 모델 전반을 가리킵니다. 이번 포스팅에서는 가볍게 Neural Network를 소개하겠습니다. 🔎 Introduction 신경망이라는 알고리즘은 뇌에서 벌어지는 Activation을 흉내내서 알고리즘을 개발한 것입니다. 뇌의 경우 먼저 자극이 들어옵니다. 만약 자극이 역치(threshold)보다 크다면 뉴런이 활성화됩니다. 이때 둔감한..

[ML] Ensemble Method(6) - Summary

🤔 Ensemble Method 통계학과 기계 학습에서 앙상블 학습법은 학습 알고리즘들을 따로 쓰는 경우에 비해 더 좋은 예측 성능을 얻기 위해 다수의 학습 알고리즘을 사용하는 방법 입니다. 통계 역학에서의 통계적 앙상블과 달리 기계 학습에서의 앙상블은 대체 모델들의 단단한 유한 집합을 가리키지만, 일반적으로 그러한 대체 모델 사이에 훨씬 더 유연한 구조를 허용합니다. 복습 겸으로 Summary를 진행하겠습니다. 🔎 Bagging Bagging 알고리즘에는 기본적인 Bagging과 RandomForest가 존재했습니다. Bagging 알고리즘의 특징으로는 Low bias / High Variance인 base learner들을 통해 cutting해나가는 방식입니다. 즉, Overfit한 모델을 통해 cu..

[ML] Ensemble Method(5) - XGBoost

🤔 Ensemble Method 통계학과 기계 학습에서 앙상블 학습법은 학습 알고리즘들을 따로 쓰는 경우에 비해 더 좋은 예측 성능을 얻기 위해 다수의 학습 알고리즘을 사용하는 방법 입니다. 통계 역학에서의 통계적 앙상블과 달리 기계 학습에서의 앙상블은 대체 모델들의 단단한 유한 집합을 가리키지만, 일반적으로 그러한 대체 모델 사이에 훨씬 더 유연한 구조를 허용합니다. 이전 포스팅에서 배운 Gradient Boost의 경우 약간의 Overfit 현상이 일어날 수 있습니다. 이번 포스팅에서는 이를 해결한 XGBoost기법에 대해 알아보도록 하겠습니다. 🔎 XGBoost(Extreme Gradient Boost) XGBoost는 이름부터 Gradient Boost의 끝판왕이라는 것을 알려주고 있습니다. GB..

[ML] Ensemble Method(4) - Gradient Boost

🤔 Ensemble Method 통계학과 기계 학습에서 앙상블 학습법은 학습 알고리즘들을 따로 쓰는 경우에 비해 더 좋은 예측 성능을 얻기 위해 다수의 학습 알고리즘을 사용하는 방법 입니다. 통계 역학에서의 통계적 앙상블과 달리 기계 학습에서의 앙상블은 대체 모델들의 단단한 유한 집합을 가리키지만, 일반적으로 그러한 대체 모델 사이에 훨씬 더 유연한 구조를 허용합니다. 이전 포스팅에서 배운 Boosting 알고리즘을 발전시킨 Gradient Boost에 대해 알아보도록 하겠습니다. 🔎 Gradient Boost Gradient Boost를 알기 위해 Gradient의 개념을 알아야 합니다. Gradient는 기울기 즉 1차 미분 값이라는 뜻입니다. 나중에 배우게 될 NN과 딥러닝알고리즘이 결국에는 기울기..

[ML] Ensemble Method(3) - AdaBoost

🤔Ensemble Method(앙상블 학습법) 통계학과 기계 학습에서 앙상블 학습법은 학습 알고리즘들을 따로 쓰는 경우에 비해 더 좋은 예측 성능을 얻기 위해 다수의 학습 알고리즘을 사용하는 방법 입니다. 통계 역학에서의 통계적 앙상블과 달리 기계 학습에서의 앙상블은 대체 모델들의 단단한 유한 집합을 가리키지만, 일반적으로 그러한 대체 모델 사이에 훨씬 더 유연한 구조를 허용합니다. 이전 포스팅에서 배운 Bagging의 경우 BaseLearner로 Overfit한 모델들을 사용한다고 했습니다. 즉, Low Bias / High Variance의 특징을 가지고 있는 모델을 smoothing 효과를 통해 성능을 높여주는 방식을 사용합니다. 또한 이들을 병렬적으로 사용합니다. 굉장히 좋은 Performance..