[ML] 핸즈온 머신러닝 - 10장(하이퍼파라미터 튜닝)

🤔하이퍼파라미터 튜닝

신경망은 유연한 만큼 조정해야할 하이퍼파라미터가 매우 많습니다.

 

복잡한 네트워크 구조에서뿐만 아니라 간단한 다층 퍼셉트론에서도 층의 개수, 층마다 있는 뉴런의 개수, 각 층에서 사용하는 활성화함수, 가중치 초기화 전략 등 많은 것을 알 수 있습니다.

 

하지만 중요한 것은 어떤 하이퍼파라미터 조합이 가장 최적인지 알아야 한다는 것입니다.

 

그중 한 가지 방법은 다양한 하이퍼파라미터를 실제로 조합하여 시도해보고 Validation에서 좋은 점수를 내는 지 확인하는 방법입니다.

 

이에 대해 알아보도록 하겠습니다.

 

 

 

 

 

 

 

 

 

🔎 Validation 이용하기

GridSearchCV 또는 RandomizedSearchCV를 사용하여 하이퍼파라미터 공간을 탐색할 수 있습니다.

 

이때 CV는 Cross Validaition의 약자로 교차검증을 의미합니다.

 

 

 

 

GridSearchCV

GridSearchCV란 교차 검증 점수를 기반으로 머신러닝 모델의 최적의 하이퍼파라미터를 검색할 수 있는 클래스입니다.

 

말 그대로 격자 탐색이라는 의미로 하이퍼파라미터에 넣을 수 있는 값들을 순차적으로 입력한 뒤에 가장 높은 성능을 보이는 하이퍼파라미터들을 찾는 탐색 방법입니다.

 

예를 들어 방의 배치를 할 때 책은 몇권을 놓을 수 있는 책장을 두어야 하는 지, 의자를 몇 개를 설치해야 할 지 등과 같이

세부적인 규율을 세우는 것인데 가장 최적의 효율을 내기 위해 모든 방법들을 순차적으루 실행하여 가장 높은 성능을 보이는 것을 선택하는 방법입니다.

 

이를 코드로 사용하기 위해서는 케라스 모델을 사이킷런 추정기처럼 보이도록 바꾸어야 합니다.

 

def build_model(n_hidden=1, n_neurons=30, learning_rate=3e-3, input_shape=[8]):
	model = keras.models.Sequential()
	model.add(keras.layers.InputLayer(input_shape=input_shape))
	for layer in range(n_hidden):
		model.add(keras.layers.Dense(n_neurons, activation="relu"))
	model.add(keras.layers.Dense(1))
	optimizer = keras.optimizers.SGD(lr=learning_rate)
	model.compile(loss="mse", optimizer=optimizer)
	return model

 

해당 함수는 주어진 입력 크기와 은닉층 개수, 뉴런 개수로 단변량 회귀를 위한 간단한 Sequential 모델을 만듭니다.

 

또한 SGD optimizer를 이용하여 지정된 학습률을 사용합니다.(옵티마이저는 최적의 가중치를 찾는 방법을 말합니다)

 

이후 build_model()함수를 사용하여 KerasRegressor 클래스의 객체를 생성합니다.

 

이때 KerasRegressor 객체는 모델을 감싸는 간단한 wrapper입니다.

 

일반적인 모델 훈련을 하듯 fit()메서드를 사용하고 평가할 때 predict()메서드를 사용하면 됩니다.

 

keras_reg = keras.wrapper.scikit_learn.KerasRegressor(build_model)
keras_reg.fit(X_train, y_train, epochs=100,
validation_data = (X_valid, y_valid), callbacks=[kears.callbacks.EarlyStopping(patience=10)])
mse_test = kears_reg.score(X_test, y_test)
y_pred = kera_reg.predict(X_new)

 

 

 

 

 

 

 

 

🔎 RandomizedSearchCV

RandomizedSearchCV는 k-fold cross validation을 사용하기 떄문에 X_valid와 y_valid를 사용하지 않습니다.

 

RandomizedSearchCV는 하드웨어와 데이터셋의 크기, 모델의 복잡도, n_iter, CV매개변수에 따라 많은 시간이 걸릴 수 있습니다.

 

실행이 끝나면 랜덤 탐색이 찾은 최상의 하이퍼파라미터와 훈련된 케라스 모델을 얻을 수 있습니다.

 

코드는 아래와 같습니다.

 

from scipy.stats import reciprocal
from sklearn.model_selection import RandomizedSearchCV

param_distribs = {
    "n_hidden": [0, 1, 2, 3],
    "n_neurons": np.arange(1, 100),
    "learning_rate": reciprocal(3e-4, 3e-2)
    }
    
rnd_search_cv = RandomizedSearchCV(keras_reg, param_distribs, n_iter=10, cv=3, verbose=2)
rnd_search_cv.fit(X_train, y_train, epochs=100, validation_data=(X_valid, y_valid),
                  callbacks=[keras.callbacks.EarlyStopping(patience=10)])