[ML] Neural Network(3) - MLP(Multilayer Perceptron)

🤔 Neural Network

인공신경망(人工神經網, 영어: artificial neural network, ANN)은 기계학습과 인지과학에서 생물학의 신경망(동물의 중추신경계중 특히 뇌)에서 영감을 얻은 통계학적 학습 알고리즘입니다.

 

인공신경망은 시냅스의 결합으로 네트워크를 형성한 인공 뉴런(노드)이 학습을 통해 시냅스의 결합 세기를 변화시켜, 문제 해결 능력을 가지는 모델 전반을 가리킵니다.

 

이번 포스팅에서는 Perceptron과 MLP에 알아보겠습니다.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

🔎 퍼셉트론(Perceptron)

퍼셉트론은 인공신경망의 한 종류로서, 1957년에 코넬 항공 연구소(Cornell Aeronautical Lab)의 프랑크 로젠블라트 (Frank Rosenblatt)에 의해 고안되었습니다.

 

이것은 가장 간단한 형태의 피드포워드(Feedforward) 네트워크, 선형분류기로도 볼 수 있습니다.

 

피드포워드 네트워크에 대해서는 아래에서 자세히 알아보도록 하겠습니다.

 

이때가 거의 처음으로 사람이 어떠한 Rule을 주지 않고 데이터에 기반해서 weighted summation을 통해 구분을 해보자고 했습니다. 

 

 

 

 

 

 

 

✍ Perceptron의 단점

하지만 Perceptron에는 치명적인 단점이 존재했습니다.

 

그것은 XOR문제를 해결할 수 없다는 것입니다.

 

 

 

데이터가 아래와 같이 주어져 있다고 한다면 직선을 어떻게 긋더라도 오류가 발생하게 됩니다.

 

 

 

 

이것이 불가능하다는 것을 Minsky라는 사람이 1969년에 Perceptron이라는 책을 책을 발간하면서 이러한 문제를 제기했습니다.

 

세상에 있는 문제들은 Linear로 해결할 수 없는 문제가 대부분이기 때문에 Perceptron 알고리즘은 거의 사장되었습니다.

 

 

 

이러한 문제들은 Nonlinear 문제라고도 합니다.

 

 

 

 

 

 

 

 

 

✍ MLP(Multilayer Perceptron)

nonlinear문제를 해결하기 위해서 perceptron을 중첩하기 시작합니다.

 

 

 

아래와 같은 그래프가 존재한다고 하겠습니다.

 

 

빨간선과 파란 선을 기준으로 데이터를 Classification한다고 하면 아래와 같은 표를 얻을 수 있습니다.

 

 

이를 노드를 이용한 네트워크로 나타낸다면 아래와 같습니다.

 

 

이를 바탕으로 활성화 함수를 적용시켜 Z의 값을 구한다면 아래와 같이 구할 수 있습니다.

 

이때 z는 x1과 x2를 신경쓰지 않고 y1과 y2를 통해서만 구할 수 있습니다.

 

 

 

 

위에서 Perceptron을 통해 해결할 수 없다고 한 XOR문제를 두 개의 Linear로 해결할 수 있었습니다.

 

 

 

이를 3차원으로 조금 더 이해가 쉽게 나타낸다면 아래와 같습니다.

 

 

 

데이터가 존재할 때 공간을 접어서 이를 분류 할 수 있도록 한 것을 의미합니다.

 

이를 발전시키면 많은 접기를 통해 즉, 많은 노드를 통해 3층의 MLP를 통해 세상의 모든 문제를 해결할 수 있다는 결론을 내릴 수 있습니다.

 

아래의 그림을 참고하시기 바랍니다.

 

 

 

 

하지만 위와 같이 문제를 해결하기 위해서는 weight에 대한 값이 필수적이었습니다.

 

어려운 문제를 MLP를 이용하여 해결할 수 있지만 weight를 구하는 방법을 알 지 못해 해당 이론이 1969년도에 사장되었습니다.

 

 

 

 

 

 

 

 

 

 

다음 포스트에서는 FeedForward Process 즉, 순전파 프로세스에 대해 알아보도록 하겠습니다.