[ML] 베이지안 분류기(Bayesian Classifier)(2) - 베이즈 정리(Bayes' Theorem)

🤔베이즈 정리

저번 시간에 간단한 예시를 통해 베이지안 분류기를 배웠습니다.

 

그리고 결론적으로 아래의 식을 유도하여 대소관계의 비교를 통해 큰 확률을 가지는 값을 것을 알 수 있었습니다.

 

$$P(w_j|x)  (x : data, w_j : j^{th}class)$$

 

이번 포스팅에서는 베이즈 정리에 대하여 수학적 유도를 통해 어떤 원리가 숨어있는지 이해하는 시간을 가져보도록 하겠습니다.

 

 

 

 

 

 

👉 이전 포스팅

https://2t-hong.tistory.com/64

[ML] 베이지안 분류기(Bayesian Classifier) 알아보기

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

🔎 조건부 확률

조건부 확률은 주어진 사건이 일어났다는 가정 하에 다른 한 사건이 일어날확률을 뜻합니다.

 

원래의 확률 함수를 $P$라고 할 때, 사건 $B$가 일어났다는 가정 하에 사건 $B$가 일어날 조건부 확률은 $P(A|B)$로 표기합니다.

 

베이즈 정리를 공부하면서 사용해야할 조건부 확률을 형태는 아래와 같습니다.

 

$$P(A|B) = \frac{P(B|A)P(A)}{P(B)}$$

 

이 형태를 꼭 기억해두시길 바랍니다.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

🔎 Bayesian Classifier

우리는 이전 포스팅에서 도출했던 베이즈 함수를 또한 조건부 확률로 나타낼 수 있습니다.

 

$$P(w_j|x) = \frac{P(x|w_j)P(w_j)}{P(x)}$$

 

이때 좌변의 $P(w_j|x)$을 사후확률(posterior) 우변의 $P(x|w_j)$을 우도(likelihood) $P(w_j)$을 사전확률(prior) $P(x)$를 증거(evidence)라고 합니다.

 

 

 

 

 

 

✍️ 사전확률(prior) - $w_j$

사전확률은 독립변수(예측자 변수) 값에 대한 정보를 얻기 전에 각 종속변수 범주에 대한 전체적인 상대 빈도를 추정한 값입니다.

 

위의 정의가 너무 어려워서 이해가 되기 쉽게 정리하자면 전체의 데이터 중에서 특정 종류의 데이터가 차지하는 비율을 말합니다.

 

또한 사전확률은 우리가 관찰한 훈련 데이터와 독립적이라는 특징을 가지고 있습니다.

 

머신러닝의 관점에서 특징$x$가 관측되기 전부터 이미 정해져있던 클래스 $w_j$의 분포를 의미합니다.

 

전체의 데이터 중 $w_1, w_2$만이 존재한다면 $P(w_1)$과 $P(w_2)$는 $P(w_1) = 1 - P(w_2)$라고 나타낼 수 있습니다. 

 

이전 포스팅의 예시에 이어 노르웨이 바다에 서식하는 물고기가 연어와 농어만이 존재할 때 $P(연어) = 2/3$이라면 $P(농어) = 1/3$이라고 할 수 있습니다.

 

 

 

 

 

 

✍️ 증거(evidence) - $x$

머신러닝의 관점에서 특징$w_j$가 관측되기 전부터 이미 정해져있던 전체 클래스에서 특정 클래스 $x$의 분포를 의미합니다.

 

 

 

 

 

 

✍️ 우도(likelihood) - $P(x|w_j)$

우도는 매우 생소한 단어인데 가장 유사한 의미로 "가능성"을 의미한다고 생각하시면 됩니다.

 

확률이 모델 파라미터값이 관측 데이터 없이 주어진 상태에서 랜덤한  출력이 일어날 가능성이라면, Likelihood는 특정 관측 결과가 주어진 상태에서 모델 파라미터 값들이 나타날 가능성입니다.

 

likelihood에 대한 이해를 위해서는 공부가 필요한데 확률과 통계를 매우 열심히 공부했던 제 친구의 블로그를  찾아보시면 도움이 될 것 같습니다.

 

조건부확률을 정리한 식에서 우변의 $P(x|w_j)$가 likelihood를 의미하는데 $w_j$가 선택되었을 때 $x$일 확률입니다.

 

머신러닝의 관점에서 특정 확률 분포$w_j$에서 특징$x$가 발생할 확률을 뜻합니다.

 

즉 기존에 있는 데이터의 각 클래스 별로 특정 특징에 대한 분포를 의미합니다.

 

 

 

 

 

 

 

👉 우도에 대하여

 

https://ttl-blog.tistory.com/651?category=925533 

[확률과 통계] - (17) 최대가능도 방법(최대우도법) (Maximum Likelihood Estimator, MLE)

 

 

 

 

 

 

 

 

 

 

✍️ 사후확률(posterior) - $P(w_j|x)$

사후확률이란 사건 발생 후의 확률을 의미하는데 발생한 사건($x$)이 특정 확률분포$w_j$에서 나왔을 확률입니다.

 

머신러닝의 관점에서 관측된 특징($x$)이 특정 클래스($w_j$)에서 나왔을 확률이라고 할 수 있습니다.

 

사후확률은 사전확률과 likelihood에 의해 범위가 정해집니다.

 

Decision = Likelihood x Prior (Decision = Observed data x Prior knowledge)

 

사후확률에 의해 결정된 decision은 사람의 내린 결정과 비슷한 모습이 있습니다.

 

사람은 현재의 정보만으로 결정을 내리지 않는데 사후확률도 마찬가지 입니다.

 

 

 

 

 

 

 

 

 

 

 

 

✍️ 사후확률에 따른 결정

우리가 만약 사전확률과 관찰 데이터 X 대해 알고 있다고 하겠습니다.

 

$$if  \; P(w_1|x) > P(w_2|x) \quad Decision = w_1$$

 

$$if \; P(w_1|x) < P(w_2|x) \quad Decision = w_2$$

 

 

 

이때 에러는 아래와 같이 나타낼 수 있습니다.

 

$$if \; P(w_1|x) > P(w_2|x) \quad Error = P(w_2|x)$$

 

$$if \; P(w_1|x) > P(w_2|x) \quad Error = P(w_1|x)$$

 

 

 

$$P(error|x) = min[P(w_1|x), P(w_2|x)] \quad (Bayes decision)$$

 

즉, 에러가 낮은 방향으로 decision한다는 뜻입니다.

 

 

 

 

 

 

 

 

 

 

다음 포스팅에서는 parameter 추정에 대해 알아보도록 하겠습니다.

 

 

 

 

 

 

 

 

 

 

 

 

 

🔎 reference

https://mole-starseeker.tistory.com/78

나이브 베이즈 분류기 (Naive Bayes Classifier)