[ML] Regression(회귀)(3) - Logistic Regression(로지스틱 회귀)

🤔Regression

관찰된 연속형 변수들에 대해 두 변수 사이의 모형을 구한 뒤 적합도를 측정해 내는 분석 방법입니다.

 

즉, $x$값에 따라 $y$값이 어느 정도로 변화할 지 예측할 수 있습니다.

 

회귀분석은 시간에 따라 변화하는 데이터나 어떤 영향, 가설적 실험, 인과 관계의 모델링등의 통계적 예측에 이용될 수 있습니다.

 

회귀분석은 supervised learning(y가 존재하는 학습)의 대표적인 분석 기법중 하나이며 continuous한 값들을 찾습니다.

 

이번 시간에는 Logistic Regression 에 대해 배워보겠습니다.

 

Logistic Regression은 Non Linear Regresson의 대표적인 모델입니다.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

🔎 odds and Log(odds)

 

✍️odds

odds는 확률의 개념을 포함하고 있는 지표입니다.

 

성공 확률을 $p$라고 할 때 실패 대비 성공 확률을 odds라고 합니다.

 

$p$가 1이면 odds는 $\infty$ $p$가 0이면 odds는 0입니다.

 

이를 수식으로 나타내면 아래와 같이 나타낼 수 있다.

 

$odds = \frac{p}{q} = \frac{p}{1-p} = \frac{범주 1에 속할 확률}{범주 0에 속할 확률}$

 

 

 

✍️ Log(odds)

Log(odds)는 odss에 로그를 취한 지표입니다.

 

Log(odds)를 사용하면 수학적으로 편리하다는 장점이 있습니다.

 

또한 아래의 그림과 같이 Log(odds)는 대칭 그래프를 가집니다.

 

음의 값과 양의 값을 통해 확인하기 편리합니다.

 

 

 

이는 아래와 같이나타낼 수 있습니다.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

🔎 Logistic Function

위에서 알아본 log(odds)와 같은 식을 통해 logistic function을 구할 수 있습니다.

 

해당 식과 그래프는 아래와 같이 나타낼 수 있습니다.

 

 

 

Linear Regression의 경우 예측된 값인 Y는 unbounded합니다.

 

하지만 $X_1$의 변화와 $\beta_1$의 값의 크기에 따라 해석 가능합니다.

 

그에 반해 Logistic Regression의 경우에는 예측된 값이 0과 1 사이에 존재합니다.

 

또한 해당 값들은 $ln(\frac{p}{1-p}) = \sum b_iX_i$로 나타나기 때문에 해석하기 복잡합니다.

 

 

 

예를 들어 Constant인 $\beta_0$의 값이 -2.1 $\beta_1$의 값이 0.22라고 하겠습니다.

 

Y값을 게임을 이길 확률이라고 하고 X값을 선수의 총 급여 합계라고 하겠습니다.

 

이를 수식으로 나타내면 아래와 같습니다.

 

 

 

 

 

그에 따라 odds와 Log(odds)의 값은 아래와 같이 나타낼 수 있습니다.

 

 

 

 

위에서 $\beta_1$의 값이 0.22라는 뜻은 선수의 총 급여 합계가 1 만큼 올라갈 때마다 게임을 이길 확률이 24.6%(exp(0.22) = 1.2460)이라는 뜻입니다.

 

 

 

 

 

 

다음 포스팅에서는 Nearest Neighbor Method에 대해 학습하겠습니다