AI

[ML] Neural Network(6) - 역전파(Backpropagation)(2)

🤔 Neural Network 인공신경망(人工神經網, 영어: artificial neural network, ANN)은 기계학습과 인지과학에서 생물학의 신경망(동물의 중추신경계중 특히 뇌)에서 영감을 얻은 통계학적 학습 알고리즘입니다. 인공신경망은 시냅스의 결합으로 네트워크를 형성한 인공 뉴런(노드)이 학습을 통해 시냅스의 결합 세기를 변화시켜, 문제 해결 능력을 가지는 모델 전반을 가리킵니다. 이번 포스팅에서는 역전파에 대해 알아보겠습니다. 🔎 손실함수(Loss Function) 실제로 많이 사용되는 손실 함수에 대해 알아보겠습니다 Cross Entropy Loss Function, Softmax(multi class에서 output node의 activaition func), Sigmoid(hidde..

[ML] Neural Network(5) - 역전파(Backpropagation)(1)

🤔 Neural Network 인공신경망(人工神經網, 영어: artificial neural network, ANN)은 기계학습과 인지과학에서 생물학의 신경망(동물의 중추신경계중 특히 뇌)에서 영감을 얻은 통계학적 학습 알고리즘입니다. 인공신경망은 시냅스의 결합으로 네트워크를 형성한 인공 뉴런(노드)이 학습을 통해 시냅스의 결합 세기를 변화시켜, 문제 해결 능력을 가지는 모델 전반을 가리킵니다. 이번 포스팅에서는 역전파에 대해 알아보겠습니다. 🔎 역전파(Backpropagation) 1957년에 perceptron이 나오고 1969년에 MLP가 나왔음에도 불구하고 1986년까지 가중치를 구하는 방법을 구하지 못했습니다. 이것을 해결하게 된 알고리즘이 역전파 알고리즘입니다. 역전파 알고리즘은 오류역전파 알..

[ML] Neural Network(4) - 순전파(Feedforward Process)

🤔 Neural Network 인공신경망(人工神經網, 영어: artificial neural network, ANN)은 기계학습과 인지과학에서 생물학의 신경망(동물의 중추신경계중 특히 뇌)에서 영감을 얻은 통계학적 학습 알고리즘입니다. 인공신경망은 시냅스의 결합으로 네트워크를 형성한 인공 뉴런(노드)이 학습을 통해 시냅스의 결합 세기를 변화시켜, 문제 해결 능력을 가지는 모델 전반을 가리킵니다. 이번 포스팅에서는 순전파에 대해 알아보도록 하겠습니다. 🔎 Hidden Layer와 Node의 의미 순전파에 대해 알아보기 전에 Hidden Layer와 Node의 의미에 대해 알아보겠습니다 ✍ Hidden Layer Hidden Layer란 Input 공간을 몇 개의 작은 공간으로 나눈 것을 의미합니다. 만약 ..

[ML] Neural Network(3) - MLP(Multilayer Perceptron)

🤔 Neural Network 인공신경망(人工神經網, 영어: artificial neural network, ANN)은 기계학습과 인지과학에서 생물학의 신경망(동물의 중추신경계중 특히 뇌)에서 영감을 얻은 통계학적 학습 알고리즘입니다. 인공신경망은 시냅스의 결합으로 네트워크를 형성한 인공 뉴런(노드)이 학습을 통해 시냅스의 결합 세기를 변화시켜, 문제 해결 능력을 가지는 모델 전반을 가리킵니다. 이번 포스팅에서는 Perceptron과 MLP에 알아보겠습니다. 🔎 퍼셉트론(Perceptron) 퍼셉트론은 인공신경망의 한 종류로서, 1957년에 코넬 항공 연구소(Cornell Aeronautical Lab)의 프랑크 로젠블라트 (Frank Rosenblatt)에 의해 고안되었습니다. 이것은 가장 간단한 형태..

[ML] Neural Network(2) - Linear Separability

🤔 Neural Network 인공신경망(人工神經網, 영어: artificial neural network, ANN)은 기계학습과 인지과학에서 생물학의 신경망(동물의 중추신경계중 특히 뇌)에서 영감을 얻은 통계학적 학습 알고리즘입니다. 인공신경망은 시냅스의 결합으로 네트워크를 형성한 인공 뉴런(노드)이 학습을 통해 시냅스의 결합 세기를 변화시켜, 문제 해결 능력을 가지는 모델 전반을 가리킵니다. 이번 포스팅에서는 선형 분리 가능성(Linear Separability)에 대해 알아보겠습니다. 🔎 Linear Separability(선형 분리 가능성) Linear Separability는 직선 하나로 어떻게 공간을 분리할 것인가에 대한 이론입니다. 아래와 같은 데이터가 존재한다고 하겠습니다. 이때 빨간선을 ..