[ML] Neural Network(4) - 순전파(Feedforward Process)

🤔 Neural Network

인공신경망(人工神經網, 영어: artificial neural network, ANN)은 기계학습과 인지과학에서 생물학의 신경망(동물의 중추신경계중 특히 뇌)에서 영감을 얻은 통계학적 학습 알고리즘입니다.

 

인공신경망은 시냅스의 결합으로 네트워크를 형성한 인공 뉴런(노드)이 학습을 통해 시냅스의 결합 세기를 변화시켜, 문제 해결 능력을 가지는 모델 전반을 가리킵니다.

 

이번 포스팅에서는 순전파에 대해 알아보도록 하겠습니다.

 

 

 

 

 

 

 

 

 

 

 

 

🔎 Hidden Layer와 Node의 의미

순전파에 대해 알아보기 전에 Hidden Layer와 Node의 의미에 대해 알아보겠습니다

 

 

 

 

✍ Hidden Layer

Hidden Layer란 Input 공간을 몇 개의 작은 공간으로 나눈 것을 의미합니다.

 

만약 Hidden Layer가 많다면 더 많은 단계에 걸쳐서 해당 공간을 공략하여 결과를 산출합니다.

 

 

 

✍ Hidden Node

Hidden Node란 위에서 나눈 공간에서의 Decision Rule을 의미합니다.

 

만약 Hidden Node가 많다면 더 많은 Decision Rule을 조합한다는 의미입니다.

 

 

 

Hidden Layer와 Hidden Node가 많다면 Capacity가 좋아져 더 어려운 문제를 해결할 수 있지만, 너무 많다면 Overfitting이 일어나게 됩니다.

 

 

 

 

https://towardsdatascience.com/neural-net-from-scratch-using-numpy-71a31f6e3675

 

 

 

 

 

 

 

 

 

 

 

 

🔎 순전파(feedforward)

위에서 살펴본 그림에서 해당 네트워크가 하는 일을 조금 더 자세하게 알아보겠습니다.

 

데이터가 Input으로 들어가게 되고 Hidden Layer, Hidden Node를 거쳐 Output을 산출합니다.

 

해당 과정은 앞으로만 일어나기 떄문에 이를 순전파(feedforward)라고 합니다.

 

내부적으로 어떤 일이 일어나는지에 대해 조금 더 자세하게 알아보도록 하겠습니다.

 

 

 

 

 

 

 

✍ MLP

이전 포스트에서 알아보았던 MLP를 살펴보도록 하겠습니다.

 

 

 

 

 

우리는 $Y_1$을 얻기 위해 $f(w^Tx)$의 값을 구합니다.

 

마찬가지로 $Y_2$를 얻기 위해서도 $f(w^Tx)$의 값을 구합니다.

 

단, 이때 서로의 weight는 다른 값을 가지게 됩니다.

 

그래서 i에서 j로 가는 weight를 $w_{ji}$로 나타냅니다. 

 

이는 Output인 $Z$로 갈 때도 마찬가지로 적용됩니다.

 

결론적으로 $Z_k$를 구하기 위해 아래의 수식을 얻을 수 있습니다..

 

 

 

 

정리하자면 함수의 결과가 중첩되어 적용된다고 생각하면 됩니다.( 병렬적이지 않음 )

 

 

 

주의해야 할 점은 노드 안에서 Activation까지 적용된다는 것입니다.

 

그림으로 나타낸다면 hidden node 또는 output node는 아래의 그림을 생략한 것입니다.

 

 

 

 

 

 

해당 과정을 수식으로 나타내면 이러한 수식을 얻을 수 있습니다.

 

 

 

 

 

활성화 함수를 사용해야만 Output 값을 얻을 수 있다는 것을 꼭 기억하시기 바랍니다.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

🔎 Architecture

✍ NN구조의 특징

# of hidden layers, # of hidden nodes

hidden layer의 개수가 많을 수록, hidden node의 개수가 더 많을 수록 더 높은 capacity 즉, 더 높은 설명력을 가지게 됩니다.

 

하지만 해당 layer와 node의 개수가 너무 많다면 NN은 overfit하게 됩니다.

 

 

 

그래서 우리가 정해줘야할 하이퍼 파라미터들이 있습니다.

 

 

 

정하지 않아도 되는 값

Input Node의 개수는 데이터의 개수로 부터 정해집니다.

 

그리고 Output Node의 개수는 우리가 풀고자 하는 문제에 따라 달라집니다.

 

 

만약 우리가 풀어야 하는 문제가 2class라면 output node의 개수는 1개 또는 2개가 되어야 합니다. ( 1개라면 전체에서 빼면 되기 떄문 )

 

만약 우리가 풀어야 하는 문제가 3class라면 output node의 개수는 3개가 되어야 합니다.

 

 

정해야 하는 값

즉 ,우리는 Hidden Node의 개수와 Hidden Layer의 개수를 정해야 합니다.

 

MLP를 뚱뚱하게 ( Node의 개수를 많이 ) 구성할 지 길게 ( Layer의 개수를 많이 ) 구성할 지는 우리가 정해줘야 하는 값입니다.

 

 

 

또한 Activation Function을 어떤 것을 사용할 지 정해야 합니다.

 

Activation Function중 대표적인 것들은 아래와 같습니다.

 

 

 

 

ReLU만 살펴보자면 0보다 작다면 0, 0보다 크다면 x의 값을 가지게 됩니다.

 

하지만 x = 0일 때 미분이 불가능 하다는 단점을 가지고 있습니다.

 

 

 

우리는 Loss Function의 종류를 정해야 합니다.

 

우리는 해당 Output이 정답을 얼마나 맞췄는지 평가를 진행해야 합니다.

 

즉, Loss Function의 값을 얼마나 최소화 했는지 알아봐야 합니다.

 

Classification의 경우에는 cross-entropy를 사용합니다.

 

실제로 우리가 계산할 때는 $\sum_{i}target_ilog(output_i) = \sum_{i}y_ilog(\hat{y})$를 최소화합니다.

 

Regression의 경우에는 MSE를 사용합니다.

 

실제로 우리가 계산할 떄는 $\frac{1}{2}||y - \hat{y}||^2$를 최소화합니다.

 

 

 

 

 

 

 

 

✍ Activation Function의 역할

Input Node

Input에는 Activation Function이 실질적으로 적용되지 않지만 통일성을 위해 $y = x$라는 Activation Function을 적용했다고 생각합니다.

 

 

 

 

Hidden Node

Activation Function은 Hidden Layer에서 말 그대로 활성화 하는 역할을 하게 됩니다.

 

즉, 입력 시그널이 충분히 크다면 충분히 큰 시그널을 다음 Layer에 제공합니다.

 

반대로 입력 시그널이 작다면 0 값을 보내거나 작은 값을 다음 Layer에 제공하게 합니다.

 

 

 

 

Output Node ( Classification )

Output Node의 경우 어떤 문제를 가지고 있느냐에 따라 달라집니다.

 

만약 2-class classification의 문제에서는 SIgmoid를 사용합니다.

 

즉, Logistic function을 사용한다는 것입니다.

 

이를 수식으로 나타내면 아래와 같습니다.

 

 

 

 

햬당 함수를 사용하게 된다면 Output Node의 결과가 0과 1사이의 값이 나와 확률값 처럼 나오게 됩니다.

 

 

 

3-class 이상 Multi-class classification의 문제에서는 Softmax를 사용합니다.

 

 

 

 

 

3-class classification 문제를 예시로 들면 각각의 값을 확률값으로 나타내고자 할 때 모든 Output 값을 더하면 1이 나와야만 합니다.

 

하지만 이때 Logistic sigmoid 함수를  사용하게 되면 1이 나오지 않을 수 있습니다.

 

 

 

그래서 softmax 함수를 사용합니다. 

 

 

 

 

 

 

 

 

 

 

Output Node ( Regression )

Classification에서는 각각의 값을 확률적으로 변환해주기 위해서 Activation Function을 사용했습니다.

 

Regression에서는 Output 자체가 Continuous한 Variable이기 때문에 Output에 Linear units를 사용합니다.

 

즉, 그대로 값을 내보낸다는 것입니다.

 

이를 식으로 나타낸다면 아래와 같습니다.

 

$$\hat{y} = W^Th + b$$

 

 

 

 

 

결론적으로 우리가 어떠한 문제를 풀 것인가에 따라 Output Node의 개수도 달라지고 Output Node안에 들어가는 Activation Function의 종류도 달라집니다.

 

 

 

 

 

 

 

 

 

정리하자면 Hidden Node의 개수와 Hidden Layer의 개수 Activation Function의 종류, Loss Function의 종류를 직접 정해야 합니다.

 

 

 

 

 

 

 

 

지금까지 순전파(feedforward process)에 대해 배워봤습니다.

 

다음 포스트에서는 역전파(backpropagation)에 대해 배워보겠습니다.