분류 전체보기

[TW] 2022-11-29

😊 오늘의 하루 한동안 TW를 쓰지 못했는데 왜 쓰지 못했냐고 물어보신다면 바빴기 때문이다. 라고 하면 핑계겠지..? 항상 새벽 4시쯤 자서 7시 50분에 기상을 하는데 TW를 쓸 시간은 진짜 없었다. 콜라톤 대회, 창엄 어이디어 검증 경진대회 등을 준비하느라 진짜 바빴거든요. 둘 모두 좋은 성적을 거둘 수 있어서 이렇게 밤을 세는 것이 힘들다고 느껴지지는 않는 것 같아요. 창업에 관심을 가지고 있는데 승승장구해서 좋은 일만 가득하길 내 주변 사람들도 좋은 일만 가득하길 바랍니다. ✅ TO DO LIST → 11월 28일 (월) : 기계학습 시험 점수 여쭤보기, 기계학습 복습( Ensemble 정리하기 ) → 11월 29일 (화) : 시스템프로그래밍 malloc lab 과제 하기( 1주차 ), OOP_T..

[ML] Ensemble Method(6) - Summary

🤔 Ensemble Method 통계학과 기계 학습에서 앙상블 학습법은 학습 알고리즘들을 따로 쓰는 경우에 비해 더 좋은 예측 성능을 얻기 위해 다수의 학습 알고리즘을 사용하는 방법 입니다. 통계 역학에서의 통계적 앙상블과 달리 기계 학습에서의 앙상블은 대체 모델들의 단단한 유한 집합을 가리키지만, 일반적으로 그러한 대체 모델 사이에 훨씬 더 유연한 구조를 허용합니다. 복습 겸으로 Summary를 진행하겠습니다. 🔎 Bagging Bagging 알고리즘에는 기본적인 Bagging과 RandomForest가 존재했습니다. Bagging 알고리즘의 특징으로는 Low bias / High Variance인 base learner들을 통해 cutting해나가는 방식입니다. 즉, Overfit한 모델을 통해 cu..

[ML] Ensemble Method(5) - XGBoost

🤔 Ensemble Method 통계학과 기계 학습에서 앙상블 학습법은 학습 알고리즘들을 따로 쓰는 경우에 비해 더 좋은 예측 성능을 얻기 위해 다수의 학습 알고리즘을 사용하는 방법 입니다. 통계 역학에서의 통계적 앙상블과 달리 기계 학습에서의 앙상블은 대체 모델들의 단단한 유한 집합을 가리키지만, 일반적으로 그러한 대체 모델 사이에 훨씬 더 유연한 구조를 허용합니다. 이전 포스팅에서 배운 Gradient Boost의 경우 약간의 Overfit 현상이 일어날 수 있습니다. 이번 포스팅에서는 이를 해결한 XGBoost기법에 대해 알아보도록 하겠습니다. 🔎 XGBoost(Extreme Gradient Boost) XGBoost는 이름부터 Gradient Boost의 끝판왕이라는 것을 알려주고 있습니다. GB..

[ML] Ensemble Method(4) - Gradient Boost

🤔 Ensemble Method 통계학과 기계 학습에서 앙상블 학습법은 학습 알고리즘들을 따로 쓰는 경우에 비해 더 좋은 예측 성능을 얻기 위해 다수의 학습 알고리즘을 사용하는 방법 입니다. 통계 역학에서의 통계적 앙상블과 달리 기계 학습에서의 앙상블은 대체 모델들의 단단한 유한 집합을 가리키지만, 일반적으로 그러한 대체 모델 사이에 훨씬 더 유연한 구조를 허용합니다. 이전 포스팅에서 배운 Boosting 알고리즘을 발전시킨 Gradient Boost에 대해 알아보도록 하겠습니다. 🔎 Gradient Boost Gradient Boost를 알기 위해 Gradient의 개념을 알아야 합니다. Gradient는 기울기 즉 1차 미분 값이라는 뜻입니다. 나중에 배우게 될 NN과 딥러닝알고리즘이 결국에는 기울기..

[ML] Ensemble Method(3) - AdaBoost

🤔Ensemble Method(앙상블 학습법) 통계학과 기계 학습에서 앙상블 학습법은 학습 알고리즘들을 따로 쓰는 경우에 비해 더 좋은 예측 성능을 얻기 위해 다수의 학습 알고리즘을 사용하는 방법 입니다. 통계 역학에서의 통계적 앙상블과 달리 기계 학습에서의 앙상블은 대체 모델들의 단단한 유한 집합을 가리키지만, 일반적으로 그러한 대체 모델 사이에 훨씬 더 유연한 구조를 허용합니다. 이전 포스팅에서 배운 Bagging의 경우 BaseLearner로 Overfit한 모델들을 사용한다고 했습니다. 즉, Low Bias / High Variance의 특징을 가지고 있는 모델을 smoothing 효과를 통해 성능을 높여주는 방식을 사용합니다. 또한 이들을 병렬적으로 사용합니다. 굉장히 좋은 Performance..