[ML] 베이지안 분류기(Bayesian Classifier)(3) - Parameter Estimation

🤔Parameter Estimation

모수(parameter)은 모집단의 특성을 나타내는 수치로 모평균, 모분산, 모표준편차, 모비율, 모상관관계 등이 있습니다.

 

표본 통계량(sample statistics)은 표본(sample)의 특성을 나타내는 수치로 표본평균, 표본분산, 표본표준편차, 표본비율, 표본상관관계 등이 있습니다.

 

표본 통계량은 표본에서 얻은 모수에 대한 정보의 요약이므로 통계량은 모집단에서 추출한 특정 표본에 따라 달라지는 확률변수입니다.

 

 

 

이 통계량의 확률 분포를 표본 분포(sampling distribution)라고 부릅니다. 

 

현실적으로 모집단의 특성, 즉 모수를 아는 것은 거의 불가능합니다.

 

따라서 표본의 특성인 통계량을 통해 모수를 추정(estimation)합니다.

 

 

 

이번 포스팅에서는 베이지안 분류기에서 모수 추정을 하는 방법을 배워보겠습니다.

 

 

 

 

 

 

 

 

 

🔎 생성모델(Generative Model) vs 분별모델(Discriminative Model)

 

✍️ Generative Model

generative model이란 데이터 $X$가 생성되는 과정을 두 개의 확률모형, 즉 $P(Y)$, $P(X|Y)$으로 정의하고, 베이즈룰을 사용해 $P(Y|X)$를 간접적으로 도출하는 모델을 가리킵니다. 

 

generative model은 레이블 정보가 있어도 되고, 없어도 구축할 수 있습니다.

 

전자를 지도학습기반의 generative model이라고 하며 선형판별분석이 대표적인 사례입니다.

 

후자는 비지도학습 기반의 generative model이라고 하며 가우시안믹스처모델, 토픽모델링이 대표적인 사례입니다.

 

 

 

generative model은 discriminative model에 비해 가정이 많습니다.

 

그 가정이 실제 현상과 맞지 않는다면 generative model의 성능은 discriminative model보다 성능이 좋지 않을 수 있지만, 가정이 잘 구축되어 있다면 이상치에도 강건하고 학습데이터가 적은 상황에서도 좋은 예측 성능을 보일 수 있습니다. 

 

generative model은 범주의 분포(distribution)을 학습하는 것이 목표가 됩니다.

 

또한 generative model은 일반적인 베이지안 추론과 마찬가지로 학습데이터가 많을 수록 discriminative model과 비슷한 성능으로 수렴하는 경향이 있다고 합니다.

 

아울러 generative model은 $P(X|Y)$을 구축하기 때문에 이 모델을 활용해 $X$를 샘플링할 수도 있습니다.

 

 

 

 

 

✍️ Discriminative Model

Discriminative model이란 데이터 $X$가 주어졌을 때 레이블 $Y$가 나타날 조건부확률 $P(Y|X)$를 직접적으로 반환하는 모델을 가리킵니다.

 

레이블 정보가 있어야 하기 때문에 지도학습(supervised learning) 범주에 속하며 $X$의 레이블을 잘 구분하는 결정경계(decision boundary)를 학습하는 것이 목표가 됩니다. 

 

discriminative model은 generative model에 비해 가정이 단순하고, 학습데이터 양이 충분하다면 좋은 성능을 내는 것으로 알려져 있습니다.

 

선형회귀와 로지스틱회귀는 disciminative model의 대표적인 예시입니다.

 

 

 

 

✍️ 차이

다음 그림은 generative model과 discriminative model간의 차이를 나타낸 그림입니다.

 

그림에서 알 수 있듯 generative model은 사후확률을 간접적으로 나타내고 discriminative model은 직접적으로 도출합니다.

 

사후확률에 대한 정보는 이전 포스트를 확인하시면 됩니다.

 

 

 

 

 

또한 아래의 그림과 같이 generative model은 데이터 범주의 분포를, discriminative model은 결정경계(Decision Boundary)를 학습합니다.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

🔎 Parametric vs Non-parametric

parametric과 Non-parametric은 모수(parameter)를 필요로 하는가, 필요로 하지 않는 가에 따라 구분합니다.

 

각각을 자세히 살펴보겠습니다.

 

 

✍️ Parametric Model

파라미터 수가 정해져 있는 모델을 의미합니다.

 

즉, 데이터가 특정 분포를 따른다고 가정하고 학습을 하면서 결정해야 하는 분포의 parameter 종류의 수가 명확하게 정해져 있습니다.

 

데이터의 수에 따라 parameter의 수가 변하지 않음을 의미합니다.

 

따라서 parametric modell은 model의 형태를 정하고, 이 model의 parameter를 학습을 통해 발전시키는 알고리즘입니다.

 

데이터가 많을 수록 정확도가 올라간다는 특징이 있습니다.

 

예시로 지금 공부하고있는 Bayesian 모델이 있습니다.

 

이외에는 linear regression, logistic regression, neural network 등이 있습니다.

 

 

 

 

✍️ Non-parametric Model

파라미터의 수가 학습 데이터의 크기에 따라 달라지는 모델을 말합니다.

 

즉, 데이터가 특정 분포를 따른다는 가정이 없기 때문에 학습에 따라 tuning해야 할 parameter가 명확히 정해져 있지 않습니다.

 

따라서 non-parametric model은 더 flexible하며, 데이터에 대한 사전 지식이 전혀 없을 때 유용하게 사용됩니다.

 

속도가 느리고 많은 데이터를 필요로 하지 않으며, 모델의 형태에 대한 명확한 설명이 어렵습니다.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

🔎 Discriminant Function for Decision Boundary

 

 

✍️결정경계(Decision Boundary)

결정결계을 만들기 위해 $g_i(x)$를 선언합니다.

 

각각의 클래스에 대해 $g_i(x) = P(w_i|x) = P(x|w_i)P(w_i)$라고 하겠습니다.

 

이때 결정경계를 찾으려고 하기 때문에 비교를 진행해야 합니다.

 

비교에 있어 각 항에 log를 취해주더라도 비교에는 영향을 끼치지 못하기 때문에 log를 취해주더라도 상관없습니다.

 

이때  $g_i(x) = lnP(x|w_i) + lnP(w_i)$이라는 식을 도출 할 수 있습니다.

 

결정경계는 $g_1(x) = g_2(x)$에서 찾을 수 있습니다.

 

즉, $g(x) = g_1(x) - g_2(x) = 0$일 때 결정경계를 찾을 수 있습니다.

 

위의 식에서 $lnP(x|w_i)$는 데이터로부터 찾아낼 수 있고 $lnP(w_i)$는 사전에 알고있습니다.

 

그러므로 위의 식을 통해 결정경계를 찾을 수 있습니다.

 

 

 

 

 

 

✍️가우시안 정규분포(Gaussian Distribution)

가우시안 정규분포는 $1$차원 형태와 $d$차원인 경우를 구분하여 식으로 나타낼 수 있습니다.

 

가우시안 정규분포가 $1$차원 형태인 경우 단변량(univariate) 가우시안이라고 하고, 가우시안 정규분포가 $d$차원 형태인 경우 다변량(multivariate) 가우시안이라고 합니다.

 

 

 

해당 분포는 $N(μ,σ^2)$ 또는 $N(μ,Σ)$형태로 표현합니다.

 

단변량 가우시안 분포는 아래와 같이 나타낼 수 있습니다.

 

 

 

 

 

다변량 가우시안 분포는 아래와 같이 나타낼 수 있습니다.

 

 

 

 

 

 

위에서 설명한 것과 같이 결정경계는 $g_i(x) = lnP(x|w_i) + lnP(w_i)$와 같이 나타낼 수 있습니다.

 

이때 $lnP(x|w_i)$에 다변량 가우시안 분포를 대입합니다.

 

해당 식을 정리하면 아래와 같이 정리할 수 있습니다.

 

 

 

 

해당 식이 복잡해 보이지만 이해를 위해 의미를 살펴보겠습니다.

 

해당 식에서 입력은 벡터 $x$입니다.

 

또한 클래스 별 평균과 벡터는 $μ_i,Σ_i$임을 알 수 있습니다.

 

 

 

예시를 들어 2차원 실수 공간에 정의된 $x = (x_1, x_2)^T$에 대해 다뤄보겠습니다.

 

이 때 클래스 $w_i$는 다음 성질을 따른다고 가정하겠습니다.

 

 

 

위에서 전개한 식에 대입을 하면 아래와 같이 정리할 수 있습니다.

 

 

 

해당 식은 2차식, 1차식, 상수항으로 정리됨을 알 수 있습니다.

 

즉, 특징 벡터의 차원에 따라 같은 차원으로 정리됨을 알 수 있습니다.

 

위 식은 $w_i$의 클래스에 속하는 어떤 값에 대한 사후확률을 뜻합니다.

 

그렇기 때문에 두 클래스 $g_i(x), g_j(x)$에 대해 결정 경계를 나타내면 다음과 같습니다.

 

 

 

 

조금 더 깊게 파고들면 각 클래스 별로 같은 공분산을 가지는 경우와 그렇지 않은 경우에 따라 해석 방법이 다른데, 이는 아래의 블로그를 참고해주시면 감사하겠습니다.

 

우리가 알아볼 것은 가우시안 분포를 통해 파라미터들을 어떻게 추정하는가에 대해서 입니다.

 

이를 MLE(Maximum Likelihood Estimation)이라고 하는데 말 그대로 Likelihood의 최대를 찾는 것이므로 미분을 해서 0이 되는 점을 찾는 것이라고 추측해볼 수 있습니다.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

🔎 MLE(Maximum Likelihood Estimation)

1학기 확률과 통계 공부를 하며 MLE에 대해 배웠는데 정말 열심히 정리한 내용이 있어 아래의 내용을 살펴보시면 좋을 것 같습니다.

 

 

 

 

👉 MLE 정리

https://ttl-blog.tistory.com/651?category=925533 

[확률과 통계] - (17) 최대가능도 방법(최대우도법) (Maximum Likelihood Estimator, MLE)

 

 

 

 

우리가 알고싶은 것은 주어진 데이터를 통해 확률 함수를 최대화하는 parameter을 추정하는 것입니다.

 

즉, Maximum Likelihood를 추정하는 것입니다.

 

아래와 같은 분포가 존재할 때 아래의 과정을 거쳐 찾고자하는 값을 찾을 수 있습니다.

 

 

 

 

 

 

 

 

 

위의 그래프와 같이 이를 수학적으로 서술하면 전체 표본집합의 결합확률밀도함수를 Likelihood function이라고 할 수 있습니다.

 

 

 

 

해당 식의 결과 값이 가장 커지는 $\theta$를 추정값 $\hat{\theta}$로 보는 것이 가장 그럴 듯 합니다.

 

미분이 용이하게 하기 위해 자연로그를 취해 Log-likelihood fuction $L(\theta|x)$를 이용합니다.

 

 

 

찾고자 하는 파라미터 $\theta$에 대하여 다음과 같이 편미분을 진행한 뒤 그 값이 0이 되도록 하는 값을 찾습니다.

 

 

 

 

조금 더 general한 case로 모평균과 모분산을 알지 못할 때 MLE를 찾는 방법을 알아야 하는데 이는 아래의 블로그를 참고해주세요.

 

 

 

 

👉 General Case

https://angeloyeo.github.io/2020/07/17/MLE.html

최대우도법(MLE) - 공돌이의 수학정리노트

 

 

 

 

 

 

 

 

 

지금까지 Parameter Estimation을 하는 방법에 대해 알아보았습니다.

 

다음 포스팅에서는 Bayesian Classifier의 추가 정보에 대해 알아보겠습니다.

 

 

 

 

 

 

 

 

🔎 Reference

https://bskyvision.com/453

모수와 표본 통계량(=모수 추정치)

 

https://ratsgo.github.io/generative%20model/2017/12/17/compare/

discriminative vs generative · ratsgo's blog

https://gaussian37.github.io/ml-concept-gaussian_discriminant/

가우시안 분포와 분별 함수 (선형 분별 분석(LDA), 2차 분별 분석(QDA))

https://angeloyeo.github.io/2020/07/17/MLE.html

최대우도법(MLE) - 공돌이의 수학정리노트