[ML] Neural Network(6) - 역전파(Backpropagation)(2)

🤔 Neural Network

인공신경망(人工神經網, 영어: artificial neural network, ANN)은 기계학습과 인지과학에서 생물학의 신경망(동물의 중추신경계중 특히 뇌)에서 영감을 얻은 통계학적 학습 알고리즘입니다.

 

인공신경망은 시냅스의 결합으로 네트워크를 형성한 인공 뉴런(노드)이 학습을 통해 시냅스의 결합 세기를 변화시켜, 문제 해결 능력을 가지는 모델 전반을 가리킵니다.

 

이번 포스팅에서는 역전파에 대해 알아보겠습니다.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

🔎 손실함수(Loss Function)

실제로 많이 사용되는 손실 함수에 대해 알아보겠습니다

 

Cross Entropy Loss Function, Softmax(multi class에서 output node의 activaition func), Sigmoid(hidden node의 activation func), ReLU(hidden node의 activation func) 등이 있습니다.

 

해당 함수들의 미분은 아래의 그림과 같습니다.

 

 

 

 

 

Cross Entropy의 경우 Classification에서 사용하지만 Regression의 경우 MSE를 사용합니다.

 

미분 값들이 모두 간단하게 계산되기 때문에 해당 term들을 NN에 많이 사용하고 있습니다.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

🔎 역전파 자세히 보기

앞 포스팅에서 $f'(net)$이라고 하며 넘어갔던 부분을 이제는 위의 함수들을 통해 다시 나타낼 수 있습니다.

 

 

 

 

 

✍ Hidden to Output

 

 

 

 

 

 

 

 

 

 

✍ Input to Hidden

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

🔎 Learning Rate

Gradinent Descent를 할 때 Gradient를 얼만큼 반영할 것인가에 대한 하이퍼 파라미터입니다.

 

이를 수식으로 나타내면 아래와 같습니다.

 

 

 

만약 너무 큰 Rate를 가지게 되면 발산하게  되고 너무 작은 Rate를 가지게 되면 최저점을 찾는 것이 오래걸리게 됩니다.

 

Big learning rate

장점 : 높은 속도를 보인다

단점 : 발산 가능하다

 

Small learning rate

장점 : 발산할 위험이 없다

단점 : 수렴지연

 

 

 

 

 

 

 

 

 

 

그래서 우리는 adaptive learning rate를 사용합니다.

 

속도를 변화하면서 학습을 진행합니다.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

🔎 Local Optima Problem

위의 방법들을 통해서 저점을 찾을 수는 있지만 그것이 best solution이라고는 할 수 있습니다

 

우리는 local minimum을 찾는 것 뿐입니다.

 

그렇기 때문에 좋은 local optimum을 찾기위해 노력해야 합니다.

 

 

 

 

 

 

좋은 local optima를 찾기 위해 bad local optima를 우리는 피해야 합니다.

 

 

 

 

✍ 좋은 Local Optimum 찾기

1. 좋은 시작 시점을 찾는 방법

좋은 시작 시점을 찾는다면 마찬가지로 좋은 local optimum을 찾을 수 있습니다.

 

하지만 이러한 방법은 거의 불가능하다고 보시면 됩니다.

 

 

 

2. 학습 멈추기

적당히 학습을 하다가 loss의 절댓값이 $\theta$보다 작아진다면 학습을 멈춥니다.

 

즉, Overfit을 하지 않기 위해 (안 좋은 solution에 Overfit 할 수 있기 때문) threshold를 정하는 것입니다.

 

 

 

3. Learning Curve 확인하기

Validation Error에 대한 그래프를 통해 적당한 위치에서 학습을 종료하는 방법입니다.

 

 

 

 

 

 

 

 

지금까지 역전파 알고리즘에 대해 학습했습니다.

 

쉽지 않은 내용이라서 많은 복습이 필요할 것입니다.