[ML] 베이지안 분류기(Bayesian Classifier)(1) - 알아보기

🤔Bayesian Classifier

베이지안 분류기는 특성들 사이의 독립을 가정하는 베이즈 정리를 적용한 확률 분류기의 일정입니다.

 

이번 포스팅에서는 베이즈 정리에 대해 수학적으로 알아보고 베이지안 분류기의 특성에 대해 알아보겠습니다.

 

 

 

 

 

 

 

 

 

 

 

 

🔎 Introduction

연어(Salmon) - 농어(Sea Bass) Problem이라는 꽤 유명한 예제를 통해 분류에 대해 먼저 알아보겠습니다.

 

 

 

어부가 바다에서 물고기를 잡았는데 연어와 농어 두 종류의 물고기가 잡혔습니다.

 

물고기를 더 좋은 값에 팔기 위해 어부는 물고기를 연어와 농어 각각을 종류별로 나누어야 합니다.

 

이때 물고기를 분류하는 방법에는 사람의 노력을 통해 직접 분류하는 것과 자동화 시스템을 통해서 분류하는 두 가지 방법이 있습니다.

 

위의 예시처럼 두 가지 종류의 분류를 하는 경우에는 '2-Class Classification' 혹은 '이진분류(Binary Class Classification)'이라고 합니다.

 

우리는 기계학습을 공부하는 입장이기 때문에 사람의 노력으로 분류하는 것은 당연히 관심이 없겠죠?

 

 

 

자동화 시스템을 통해 물고기를 분류하기위해서는 카메라를 통해 물고기의 특성(길이, 밝기, 무게 등)을 파악해야합니다.

 

간단한 그림으로 나타내면 아래와 같습니다.

 

 

 

 

 

 

이러한 과정을 통해 우리는 대량의 데이터를 모았습니다.

 

이러한 데이터를 두 개의 특성(변수)를 통해 아래와 같이 그래프를 그려볼 수 있습니다.

 

저는 width 와 lightness를 기준으로 그래프를 그렸습니다.

 

 

 

 

 

검은색 점이 연어를 의미하고 빨간색 점은 농어를 의미합니다.

 

이때 두 물고기를 적당하게 나눠주는 선을 그리면 위와 같습니다.

 

그래프에서 알 수 있든 오분류되는 경우가 당연히 생길 수 있습니다.

 

해당 그래프에서 $x1$은 연어 $x2$는 농어를 나타낸다고 할 때 그래프를 표로 나타내면 아래와 같은 형태가 될 것입니다.

 

 

 

 

즉 데이터를 수학적 형태로 나타낸 것인데 실제 세계의 이벤트를 벡터의 형태로 나타낼 수 있습니다.

 

한 마리의 물고기를 $X$라고 했을 때 $X^T = [x_1, x_2]$라고 할 수 있습니다.(벡터는 column 이므로)

 

우리는 대량의 데이터를 얻었으므로 대량의 데이터를 $D$라고 했을 때 데이터를 쌓으면 행렬을 통해 위와 같은 표를 만들 수 있는 것입니다.

 

이를 수식으로 나타내면 $D = [X_1^T, X_2^T, … , X_n^T]$와 같이 나타낼 수 있습니다. 

 

 

 

 

 

 

 

 

 

 

 

 

🔎 베이지안 분류기

위의 예시를 통해 베이지안 분류기에 대해 알아보겠습니다.

 

우리는 데이터를 두개의 클래스인 농어와 연어로 분류하려고 합니다.

 

즉 우리가 알고 싶은 것은 $x$라는 데이터가 주어졌을 때 해당 데이터가 농어인지 연어인지 구분하는 것입니다.

 

이를 수식으로 나타내면 조건부 확률을 이용하여 아래와 같이 나타낼 수 있습니다.

 

 

 

$$P(w_j|x)  (x : data, w_j : j^{th}class)$$

 

 

 

이때 우리는 농어와 연어 두 가지의 클래스만 가지고 있으므로 $w_1$을 농어 $w_2$를 연어라고 하겠습니다.

 

그렇다면 예를 들어 $P(w_1|x) > P(w_2|x)$라면 데이터 $x$는 클래스 1인 농어라고 생각할 수 있습니다.

 

 

 

다음 포스트에서는 베이즈 함수에 대해 수학적으로 알아보도록 하겠습니다.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

https://zephyrus1111.tistory.com/79

[머신 러닝] 3. 베이즈 분류기(Bayes Classifier)