[ML] Regression(회귀)(1) - Linear Regression(선형 회귀)

🤔Regression

관찰된 연속형 변수들에 대해 두 변수 사이의 모형을 구한 뒤 적합도를 측정해 내는 분석 방법입니다.

 

즉, $x$값에 따라 $y$값이 어느 정도로 변화할 지 예측할 수 있습니다.

 

회귀분석은 시간에 따라 변화하는 데이터나 어떤 영향, 가설적 실험, 인과 관계의 모델링등의 통계적 예측에 이용될 수 있습니다.

 

회귀분석은 supervised learning(y가 존재하는 학습)의 대표적인 분석 기법중 하나이며 continuous한 값들을 찾습니다.

 

회귀 알고리즘에는 아래와 같은 것들이 있습니다.

 

 

 

 

 

 

 

 

✍️ Regression의 종류

- Linear regression

- Multivariate linear regression

- Lasso and Ridge linear regression

- Neural network regression

- Support vector regression

- Decision tree regression

- Etc.

 

오늘은 선형회귀(Linear regression)에 대해 학습하고 정리해보겠습니다.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

🔎 Linear Regression

다른 변수의 값을 변하게하는 변수를 $x$, 변수 $x$에 의해서 값이 종속적으로 변하는 변수 $y$라고 하겠습니다.

 

이때 변수 $x$의 값은 독립적으로 변할 수 있는 것에 반해, $y$값은 계속해서 $x$의 값에 의해서, 종속적으로 결정되므로 $x$를 독립 변수, $y$를 종속 변수라고 합니다.

 

선형 회귀는 한 개 이상의 독립 변수 $x$와 종속변수 $y$의 선형 관계를 모델링합니다.

 

만약, 독립 변수 $x$가 1개라면 단순 선형 회귀라고 합니다.

 

 

 

 

 

✍️ 단순 선형 회귀 분석(Univariate Linear Regression Analysis)

 

$$Y = \beta_0 + \beta_1X_1$$

 

위의 수식은 단순 선형 회귀의 수식을 보여줍니다.

 

여기서 독립 변수$X$와 곱해지는 값 $\beta_0$를 머신 러닝에서는 가중치(weight), 별도로 더해지는 값 $\beta_0$를 편향(bias)이라고 합니다.

 

이는 아래와 같이 나타낼 수 있습니다.

 

 

 

 

 

 

 

 

 

✍️ 다중 선형 회귀 분석(Multivariate Linear Regression Analysis)

 

$$Y = \beta_0 + \beta_1X_1 + \beta_2X_1 + \cdots + \beta_dX_d$$

 

위의 수식은 다중 선형 회귀의 수식을 보여줍니다.

 

아래의 식을 그래프로 나타내면 아래의 그림과 같이 나타 낼 수 있습니다.

 

 

 

 

 

 

 

 

✍️ $\beta$를 어떻게 찾을 수 있을까요?

실제 데이터와 예측 데이터 값과의 차이를 잔차(Residual)라고 합니다.

 

우리는 잔차를 error라고 하며 이를 $e$로 나타내겠습니다.

 

잔차는 아래의 식과 같이 나타낼 수 있습니다.

이를 그림으로 나타내면 빨간 점과 빨간 직선 사이의 값을 $e$라고 합니다.

 

 

 

 

우리는 $\beta$를 구하기 위하여 잔차를 제곱한 합인 잔차제곱합(Residual Sum of Squars) "RSS"를 알아야 합니다.

 

이는 아래의 식으로 나타낼 수 있습니다.

 

 

 

우리는 RSS를 최소화 하는 방법을 통해 $\beta$를 구할 수 있습니다.

 

이를 식으로 나타내면 아래와 같습니다.

 

아래의 식에서는 단순 선형 회귀의 식을 이용하겠습니다.

 

 

 

이를 이산수학에서 배웠던 행렬로 나타내면 아래와 같이 나타낼 수 있습니다.

 

 

위의 과정을 한 번에 정리하면 아래와 같습니다.

 

 

 

 

이차식의 최소값을 구하기 위해서는 고등학교때 배웠던 미분을 이용하면 됩니다.

 

우리가 구해야하는 $\beta$는 $\beta_0$과 $\beta_1$입니다.

 

그러므로 각각에 대한 미분을 진행합니다.

 

 

 

 

 

 

 

 

 

✍️ 선형회귀의 장점

선형회귀의 가장 큰 장점은 높은 Interpretability를 가진다는 것입니다.

 

 

위와 같은 다중 회귀 분석 식에서 $\beta_i$는 $X_i$의 변화에 따라 $Y$값이 얼마나 변하는 지를 알려줍니다.

 

$\beta_0$ 은 $X_i$의 값이 모두 0일때 즉 base라고 생각 할 수 있습니다.

 

또한 매우 popular하고 사용하기 쉽다는 장점을 가지고 있습니다.

 

 

 

 

 

 

✍️ 선형회귀의 단점

선형회귀는 단 하나의 선형 관계만을 설명할 수 있다는 단점이 있습니다.

 

이로인해 부적절한 특징을 가지거나 중복이 되는 특징을 가질 수 있습니다.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

🔎 Reference

https://ko.wikipedia.org/wiki/%ED%9A%8C%EA%B7%80_%EB%B6%84%EC%84%9D

회귀 분석 - 위키백과, 우리 모두의 백과사전