[ML] Nearest Neighbor Method - KNN(3)

🤔 KNN(K - Nearest Neighors Classifier)

KNN이란 말 그대로 K개의 가장 가까운 이웃(데이터)들을 이용하여 분류를 진행하는 것을 말합니다.

 

매우 단순한 알고리즘이지만 생각보다 좋은 성능을 내기 때문에 드래곤볼의 전투력 측정기와 같은 역할을 합니다.

 

즉, KNN알고리즘보다 좋지 못한 성능을 내는 모델들은 믿고 걸러주시면 됩니다.

 

이번 포스팅에서는 KNN에 대해 배워보도록 하겠습니다.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

🔎 KNN(k-Nearest Neighbors Classifier)

결국 우리가 공부하려고 했던 목표인 KNN까지 도착했습니다.

 

여러가지 개념들을 배운다고 고생하셨으니 일단 숨 한번 쉬고 갑시다.

 

KNN은 매우 직관적이고 쉽습니다.

 

특징이 아니라 배우기에도 마찬가지입니다.

 

KNN은 말 그대로 K개의 가장 가까운 데이터들을 이용하여 해당 데이터의 값을 분류하는 것입니다.

 

이를 그림을 나타내면  아래와 같습니다.

 

 

 

 

 

 

 

 

 

✍️ Algorithm

KNN을 이용하여 데이터를 분류하는 과정을 알아보겠습니다.

 

 

1. Prepare training data with their class labels (a.k.aReference vector)

각각 클래스가 분류되어 있는 Train data를 불러옵니다.

 

해당 Train data는 새로운 데이터가 들어왔을때 해당 데이터를 분류하는 데에 사용됩니다.

 

2. New test data has come (without its class label)

새로운 테스트 데이터를 삽입합니다.

 

이때 테스트 데이터는 어떠한 클래스로 분류되어 있지 않아야 합니다.

 

3. Calculate distance from the test data and all training data

Test data로부터 Train data의 거리를 측정합니다.

 

 

 

4. Select the nearest k neighbors

몇 개의 데이터와 가까울 때 해당 Test data를 클래스 분류할 것인지 알기위해 k를 결정합니다.

 

 

 

5. Voting from the k neighbors

Test data와 가장 가까운 Train data들을 선택하고 선택된 지표들이 더 많이 포함된 클래스가 어떤 클래스인지 확인합니다.

 

이때 더 많이 포함된 클래스를 Test data의 클래스로 결정합니다.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

🔎 K에 따른 Test Data의 분포

 

K가 클 때는 민감하지는 않지만 경향을 매우 잘 맞출 수 있습니다.

 

반대로 K가 작을 때는 매우 복잡한 모델을 생성하지만 너무 민감하기 때문에 새로운 Test 데이터가 들어왔을 때 오분류할 가능성이 높습니다.

 

 

 

 

 

 

적절한 해답을 찾기 위해서는 모든 경우를 시도해보고 Error가 가장 적은 k를 선택해야 합니다.

 

 

 

 

 

 

또한 값의 분포에만 집중하지 않고 각각의 데이터에 가중치를 부여하여 값을 결정 할 수 있습니다.