ML
[ML] Ensemble Method(3) - AdaBoost
🤔Ensemble Method(앙상블 학습법) 통계학과 기계 학습에서 앙상블 학습법은 학습 알고리즘들을 따로 쓰는 경우에 비해 더 좋은 예측 성능을 얻기 위해 다수의 학습 알고리즘을 사용하는 방법 입니다. 통계 역학에서의 통계적 앙상블과 달리 기계 학습에서의 앙상블은 대체 모델들의 단단한 유한 집합을 가리키지만, 일반적으로 그러한 대체 모델 사이에 훨씬 더 유연한 구조를 허용합니다. 이전 포스팅에서 배운 Bagging의 경우 BaseLearner로 Overfit한 모델들을 사용한다고 했습니다. 즉, Low Bias / High Variance의 특징을 가지고 있는 모델을 smoothing 효과를 통해 성능을 높여주는 방식을 사용합니다. 또한 이들을 병렬적으로 사용합니다. 굉장히 좋은 Performance..
[ML] Ensemble Method(2) - Bagging & Random Forest
🤔 Ensemble Method 통계학과 기계 학습에서 앙상블 학습법은 학습 알고리즘들을 따로 쓰는 경우에 비해 더 좋은 예측 성능을 얻기 위해 다수의 학습 알고리즘을 사용하는 방법 입니다. 통계 역학에서의 통계적 앙상블과 달리 기계 학습에서의 앙상블은 대체 모델들의 단단한 유한 집합을 가리키지만, 일반적으로 그러한 대체 모델 사이에 훨씬 더 유연한 구조를 허용합니다. 이번 포스팅에서는 앙상블 기법 중 Bagging에 대해 알아보려고 합니다. 🔎 About Ensemble 앙상블은 둘 이상의 Base Learner와 그것들의 결과를 결합하여 예측값을 반환합니다. 이때 각각의 Learner들은 달라야만 합니다. 각각의 Learner가 서로 다른 view point를 가지고 있어야 하기 때문입니다. 이에 대..
[ML] 베이지안 분류기(Bayesian Classifier)(3) - Parameter Estimation
🤔Parameter Estimation 모수(parameter)은 모집단의 특성을 나타내는 수치로 모평균, 모분산, 모표준편차, 모비율, 모상관관계 등이 있습니다. 표본 통계량(sample statistics)은 표본(sample)의 특성을 나타내는 수치로 표본평균, 표본분산, 표본표준편차, 표본비율, 표본상관관계 등이 있습니다. 표본 통계량은 표본에서 얻은 모수에 대한 정보의 요약이므로 통계량은 모집단에서 추출한 특정 표본에 따라 달라지는 확률변수입니다. 이 통계량의 확률 분포를 표본 분포(sampling distribution)라고 부릅니다. 현실적으로 모집단의 특성, 즉 모수를 아는 것은 거의 불가능합니다. 따라서 표본의 특성인 통계량을 통해 모수를 추정(estimation)합니다. 이번 포스팅에서..
[ML] 베이지안 분류기(Bayesian Classifier)(2) - 베이즈 정리(Bayes' Theorem)
🤔베이즈 정리 저번 시간에 간단한 예시를 통해 베이지안 분류기를 배웠습니다. 그리고 결론적으로 아래의 식을 유도하여 대소관계의 비교를 통해 큰 확률을 가지는 값을 것을 알 수 있었습니다. $$P(w_j|x) (x : data, w_j : j^{th}class)$$ 이번 포스팅에서는 베이즈 정리에 대하여 수학적 유도를 통해 어떤 원리가 숨어있는지 이해하는 시간을 가져보도록 하겠습니다. 👉 이전 포스팅 더보기 https://2t-hong.tistory.com/64 [ML] 베이지안 분류기(Bayesian Classifier) 알아보기 🤔Bayesian Classifier 베이지안 분류기는 특성들 사이의 독립을 가정하는 베이즈 정리를 적용한 확률 분류기의 일정입니다. 이번 포스팅에서는 베이즈 정리에 대해 수학..
[ML] NumPy & Pandas
🤔 NumPy & Pandas NumPy와 Pandas는 머신러닝을 공부한다면 절대 빠질 수 없는 필수 라이브러리입니다. 많은 사람들이 Numpy와 Pandas에 대한 설명을 해두었고 앞으로 공부할 내용에서도 많이 사용할 것이므로 간단하게 코드로 설명하고 넘어가겠습니다. 🔎 NumPy NumPy는 수학적인 연산 및 다차원 배열 (Array, Matrix, Tensor)의 연산을 가능하게 해주는 Python의 Library입니다. 아래는 NumPy를 사용한 예시입니다. In []: from google.colab import drive drive.mount('/content/drive') Mounted at /content/drive In [ ]: import numpy as np In [ ]: pytho..