[ML] Regression(회귀)(2) - Model Evaluation(모델 평가)

🤔Regression

관찰된 연속형 변수들에 대해 두 변수 사이의 모형을 구한 뒤 적합도를 측정해 내는 분석 방법입니다.

즉, $x$값에 따라 $y$값이 어느 정도로 변화할 지 예측할 수 있습니다.

회귀분석은 시간에 따라 변화하는 데이터나 어떤 영향, 가설적 실험, 인과 관계의 모델링등의 통계적 예측에 이용될 수 있습니다.

회귀분석은 supervised learning(y가 존재하는 학습)의 대표적인 분석 기법중 하나이며 continuous한 값들을 찾습니다.

이번 시간에는 Regression Model의 모델 평가에 대해 알아보도록 하겠습니다.

모델 평가에 대한 자세한 내용은 한 번 더 다루도록 하겠습니다.

🔎 Model Evaluation

모델 평가는 다양한 평가 방법을 사용하여 머신 러닝 모델의 성능과 강점과 약점을 이해하는 프로세스입니다.

모델 평가는 초기 연구 단계에서 모델의 유효성을 평가하는 데 중요하며 모델 모니터링에서도 역할을 합니다.

모델이 새 데이터와 잘 작동하는지 이해하기 위해 여러 평가 지표를 활용할 수 있습니다.

선형 회귀를 배운 만큼 선형 회귀에 대한 Model Evaluation을 중심으로 알아보겠습니다.

https://www.dominodatalab.com/data-science-dictionary/model-evaluation

What is Model Evaluation? | Domino Data Science Dictionary

Model evaluation is the process of using different evaluation metrics to understand a machine learning model’s performance, as well as its strengths and weaknesses. Model evaluation is important to assess the efficacy of a model during initial research p

www.dominodatalab.com

🔎 Performance Measurements

모델을 측정하는 방법은 매우 다양합니다.

$y$와 $\hat{y}$를 기반으로 차이 측정하는 방법과 $R^2$ Model Evaluation 에 대해 알아보겠습니다.

✍️ $y$와 $\hat{y}$를 기반으로 차이 측정하기

대부분의 방법들은 실제 측정값인 $y$와 예측값인 $\hat{y}$와의 차이를 비교하는 것에서 시작합니다.

이를 정리하면 아래와 같이 나타낼 수 있습니다.

가장 Base가 되는 MSE, RMSE, MAE의 특징을 알아보겠습니다.

MSE

- 미분이 쉽다는 장점이 있습니다

- 에러가 많이 틀린 것처럼 생각 될 수 있습니다.

RMSE

- 원래 scale 로 내려서 에러가 많이 틀린 것처럼 생각 될 수 있는 MSE의 단점을 개선할 수 있습니다.

- alqnsdl djfuqtmqslek.

MAE

- 미분이 안되는 부분이 생깁니다.

위의 지표들을 한 가지만을 사용하는 것이 아니라 여러개를 동시에 사용하여 각각의 지표에 대한 단점을 보완할 수 있습니다.

✍️ $R^2$ Model Evaluation(결정계수 모델평가)

편차는 SST(Sum of Squares Total), SSR(Regression Sum of Squares), SSE(Sum of Squares Error) 세 가지로 나타낼 수 있습니다.

이를 그림과 수식으로 설명하면 아래와 같이 나타낼 수 있습니다.

이때 $R^2$은 SST, SSR, SSE를 사용하여 나타낼 수 있습니다.

항상 $R^2$은 0보다 크거나 같고 1보다 작거나 같은 값을 가지게 됩니다.

$R^2$이 1이라는 것은 SSE가 0이라는 뜻입니다.

즉, Error가 하나도 없다는 뜻입니다.

$R^2$이 0이라는 것은 SSR이 0이라는 뜻입니다.

즉, 모든 값이 Error라는 뜻입니다.

$R^2$이 1에 가까워 질 수록 정확한 모델이고 0에 가까워 질 수록 정확하지 않은 모델을 의미합니다.

독립변수의 개수가 증가하면 일방적으로 증가하는 결정계수와 달리 조정된 결정계수는 독립 변수가 증가할 떄 분자를 감소시켜주는 연산을 통해 일방적인 증가를 방지합니다.

이를 Adjusted $R^2$(조정된 결정계수)이라고 합니다.

아래의 식에서 n은 표본의 수 p는 독립 변수의 개수입니다.

예를 들어 n = 100, p = 50이라고 할 때 Adjusted $R^2$의 값은 $1 - \frac{99}{49}*\frac{SSE}{SST} = 약 1 - 2*\frac{SSE}{SST}$ 입니다.

n = 100, p = 2이라고 할 때 Adjusted $R^2$의 값은 $1 - \frac{99}{97}*\frac{SSE}{SST} = 약 1 - \frac{SSE}{SST}$

독립변수의 개수가 클 때 Adjusted $R^2$의 값이 더 작은 것을 알 수 있습니다.

즉, 독립변수가 유의하지 않다면( 모델에 큰 영향을 끼치지 않다면) 독립변수의 개수가 증가하더라도 값이 커지지 않게 제어하는 역할을 합니다.

🔎 Nonlinear Regression

Nonlinear Regression 에 대해서는 다음 기회에 알아보도록 하겠습니다.

🔎 Reference