AI

[ML] Ensemble Method(2) - Bagging & Random Forest

🤔 Ensemble Method 통계학과 기계 학습에서 앙상블 학습법은 학습 알고리즘들을 따로 쓰는 경우에 비해 더 좋은 예측 성능을 얻기 위해 다수의 학습 알고리즘을 사용하는 방법 입니다. 통계 역학에서의 통계적 앙상블과 달리 기계 학습에서의 앙상블은 대체 모델들의 단단한 유한 집합을 가리키지만, 일반적으로 그러한 대체 모델 사이에 훨씬 더 유연한 구조를 허용합니다. 이번 포스팅에서는 앙상블 기법 중 Bagging에 대해 알아보려고 합니다. 🔎 About Ensemble 앙상블은 둘 이상의 Base Learner와 그것들의 결과를 결합하여 예측값을 반환합니다. 이때 각각의 Learner들은 달라야만 합니다. 각각의 Learner가 서로 다른 view point를 가지고 있어야 하기 때문입니다. 이에 대..

[ML] Ensemble Method(1) - 편향-분산 딜레마(Bias-Variance Dilemma)

🤔Ensemble Method(앙상블 학습법) 통계학과 기계 학습에서 앙상블 학습법은 학습 알고리즘들을 따로 쓰는 경우에 비해 더 좋은 예측 성능을 얻기 위해 다수의 학습 알고리즘을 사용하는 방법 입니다. 통계 역학에서의 통계적 앙상블과 달리 기계 학습에서의 앙상블은 대체 모델들의 단단한 유한 집합을 가리키지만, 일반적으로 그러한 대체 모델 사이에 훨씬 더 유연한 구조를 허용합니다. 이번 포스팅에서는 앙상블 학습법을 배우기 전 편향과 분산사이의 딜레마에 대해 알아보려고 합니다. 🔎 편향 분산 딜레마 앙상블에 대해 조금 쉽게 설명하기 위해 예시를 들어보겠습니다. 위의 그림과 같이 한 가지의 문제에 대해 여러가지의 모델을 사용하여 학습을 진행한다고 하겠습니다. 이때 한 개의 모델이 학습하는 문제가 Train..

[ML] Nearest Neighbor Method - KNN(3)

🤔 KNN(K - Nearest Neighors Classifier) KNN이란 말 그대로 K개의 가장 가까운 이웃(데이터)들을 이용하여 분류를 진행하는 것을 말합니다. 매우 단순한 알고리즘이지만 생각보다 좋은 성능을 내기 때문에 드래곤볼의 전투력 측정기와 같은 역할을 합니다. 즉, KNN알고리즘보다 좋지 못한 성능을 내는 모델들은 믿고 걸러주시면 됩니다. 이번 포스팅에서는 KNN에 대해 배워보도록 하겠습니다. 🔎 KNN(k-Nearest Neighbors Classifier) 결국 우리가 공부하려고 했던 목표인 KNN까지 도착했습니다. 여러가지 개념들을 배운다고 고생하셨으니 일단 숨 한번 쉬고 갑시다. KNN은 매우 직관적이고 쉽습니다. 특징이 아니라 배우기에도 마찬가지입니다. KNN은 말 그대로 K개..

[ML] Nearest Neighbor Method - 정규화(Normalization)(2)

🤔KNN(K - Nearest Neighors Classifier) KNN이란 말 그대로 K개의 가장 가까운 이웃(데이터)들을 이용하여 분류를 진행하는 것을 말합니다. 매우 단순한 알고리즘이지만 생각보다 좋은 성능을 내기 때문에 드래곤볼의 전투력 측정기와 같은 역할을 합니다. 즉, KNN알고리즘보다 좋지 못한 성능을 내는 모델들은 믿고 걸러주시면 됩니다. 이번 포스팅에서는 KNN의 Normalization 에 대해 알아보도록 하겠습니다. 🔎 정규화(Normalization) 정규화 또는 정상화(normalization)는 어떤 대상을 일정한 규칙이나 기준에 따르는 ‘정규적인’ 상태로 바꾸거나, 비정상적인 대상을 정상적으로 되돌리는 과정을 뜻합니다. 정규화에는 z-normalization과 min-max ..

[ML] Nearest Neighbor Method - Distance Metric(1)

🤔 KNN(K - Nearest Neighors Classifier) KNN이란 말 그대로 K개의 가장 가까운 이웃(데이터)들을 이용하여 분류를 진행하는 것을 말합니다. 매우 단순한 알고리즘이지만 생각보다 좋은 성능을 내기 때문에 드래곤볼의 전투력 측정기와 같은 역할을 합니다. 즉, KNN알고리즘보다 좋지 못한 성능을 내는 모델들은 믿고 걸러주시면 됩니다. 이번 포스팅에서는 KNN에 대해 배워보도록 하겠습니다. 🔎 KNN KNN은 가장 쉽고 직관적인 알고리즘 중 하나입니다. 분류해야할 데이터와 가장 가까운 데이터들이 해당 데이터를 설명합니다. 머신러닝에서 가장 기본적인 concept입니다. 가장 큰 특징은 "Instance based Learning", "Memory based Learning", "La..