AI/Machine Learning
[ML] Neural Network(4) - 순전파(Feedforward Process)
🤔 Neural Network 인공신경망(人工神經網, 영어: artificial neural network, ANN)은 기계학습과 인지과학에서 생물학의 신경망(동물의 중추신경계중 특히 뇌)에서 영감을 얻은 통계학적 학습 알고리즘입니다. 인공신경망은 시냅스의 결합으로 네트워크를 형성한 인공 뉴런(노드)이 학습을 통해 시냅스의 결합 세기를 변화시켜, 문제 해결 능력을 가지는 모델 전반을 가리킵니다. 이번 포스팅에서는 순전파에 대해 알아보도록 하겠습니다. 🔎 Hidden Layer와 Node의 의미 순전파에 대해 알아보기 전에 Hidden Layer와 Node의 의미에 대해 알아보겠습니다 ✍ Hidden Layer Hidden Layer란 Input 공간을 몇 개의 작은 공간으로 나눈 것을 의미합니다. 만약 ..
[ML] Neural Network(3) - MLP(Multilayer Perceptron)
🤔 Neural Network 인공신경망(人工神經網, 영어: artificial neural network, ANN)은 기계학습과 인지과학에서 생물학의 신경망(동물의 중추신경계중 특히 뇌)에서 영감을 얻은 통계학적 학습 알고리즘입니다. 인공신경망은 시냅스의 결합으로 네트워크를 형성한 인공 뉴런(노드)이 학습을 통해 시냅스의 결합 세기를 변화시켜, 문제 해결 능력을 가지는 모델 전반을 가리킵니다. 이번 포스팅에서는 Perceptron과 MLP에 알아보겠습니다. 🔎 퍼셉트론(Perceptron) 퍼셉트론은 인공신경망의 한 종류로서, 1957년에 코넬 항공 연구소(Cornell Aeronautical Lab)의 프랑크 로젠블라트 (Frank Rosenblatt)에 의해 고안되었습니다. 이것은 가장 간단한 형태..
[ML] Neural Network(2) - Linear Separability
🤔 Neural Network 인공신경망(人工神經網, 영어: artificial neural network, ANN)은 기계학습과 인지과학에서 생물학의 신경망(동물의 중추신경계중 특히 뇌)에서 영감을 얻은 통계학적 학습 알고리즘입니다. 인공신경망은 시냅스의 결합으로 네트워크를 형성한 인공 뉴런(노드)이 학습을 통해 시냅스의 결합 세기를 변화시켜, 문제 해결 능력을 가지는 모델 전반을 가리킵니다. 이번 포스팅에서는 선형 분리 가능성(Linear Separability)에 대해 알아보겠습니다. 🔎 Linear Separability(선형 분리 가능성) Linear Separability는 직선 하나로 어떻게 공간을 분리할 것인가에 대한 이론입니다. 아래와 같은 데이터가 존재한다고 하겠습니다. 이때 빨간선을 ..
[ML] Neural Network(1) - Introduction
🤔 Neural Networks 인공신경망(人工神經網, 영어: artificial neural network, ANN)은 기계학습과 인지과학에서 생물학의 신경망(동물의 중추신경계중 특히 뇌)에서 영감을 얻은 통계학적 학습 알고리즘입니다. 인공신경망은 시냅스의 결합으로 네트워크를 형성한 인공 뉴런(노드)이 학습을 통해 시냅스의 결합 세기를 변화시켜, 문제 해결 능력을 가지는 모델 전반을 가리킵니다. 이번 포스팅에서는 가볍게 Neural Network를 소개하겠습니다. 🔎 Introduction 신경망이라는 알고리즘은 뇌에서 벌어지는 Activation을 흉내내서 알고리즘을 개발한 것입니다. 뇌의 경우 먼저 자극이 들어옵니다. 만약 자극이 역치(threshold)보다 크다면 뉴런이 활성화됩니다. 이때 둔감한..
[ML] Ensemble Method(6) - Summary
🤔 Ensemble Method 통계학과 기계 학습에서 앙상블 학습법은 학습 알고리즘들을 따로 쓰는 경우에 비해 더 좋은 예측 성능을 얻기 위해 다수의 학습 알고리즘을 사용하는 방법 입니다. 통계 역학에서의 통계적 앙상블과 달리 기계 학습에서의 앙상블은 대체 모델들의 단단한 유한 집합을 가리키지만, 일반적으로 그러한 대체 모델 사이에 훨씬 더 유연한 구조를 허용합니다. 복습 겸으로 Summary를 진행하겠습니다. 🔎 Bagging Bagging 알고리즘에는 기본적인 Bagging과 RandomForest가 존재했습니다. Bagging 알고리즘의 특징으로는 Low bias / High Variance인 base learner들을 통해 cutting해나가는 방식입니다. 즉, Overfit한 모델을 통해 cu..