Модель регрессии tensorflow2.0 --- как эффективно использовать API keras для sklearn

TensorFlow

Как построить модель с tf.keras я писал раньше.В то время было зарыто предчувствие, то есть проблема поиска гиперпараметров. Как получить лучшую модель, когда мы используем sklearn, это GridSearchCV или RandomizedSearchCV, поэтому сегодня я хочу рассказать о том, как реализовать поиск по гиперпараметрам через API tf.keras.

1. Посмотрите введение в официальную документацию

официальная документация 在这里插入图片描述Выяснилось, что вам нужно только написать build_fn для вызова этого API, то есть написать функцию для построения сети.Узнав это, приходите и посмотрите на это на практике.

2. Реализовать поиск гиперпараметров

  1. Сначала импортируйте набор данных, я использую набор данных California Housing.
  2. Разделите обучающий набор, проверочный набор и тестовый набор и стандартизируйте данные.
  3. Пишем нужную нам модель сети, вызываем keras.wrappers.scikit_learn.KerasRegress или для реализации модели, можно использовать метод sklearn
  4. Тренируйтесь, чтобы получить лучшие параметры и модели

Код:

import pandas as pd
import numpy as np
import tensorflow as tf
from tensorflow import keras
import matplotlib
import matplotlib.pyplot as plt
import sklearn
import os,sys
from sklearn.datasets import fetch_california_housing

housing=fetch_california_housing()

house=pd.DataFrame(housing.data)
house.columns=housing.feature_names
house['price']=housing.target
house.info()
house.head(10)


from sklearn.model_selection import train_test_split

x_train_all,x_test,y_train_all,y_test=train_test_split(housing.data,housing.target,test_size=0.25,random_state=2)
x_train,x_valid,y_train,y_valid=train_test_split(x_train_all,y_train_all,test_size=0.25,random_state=2)



#标准化
from sklearn.preprocessing import StandardScaler

scaler=StandardScaler()
x_train_scaled=scaler.fit_transform(x_train)
x_valid_scaled=scaler.fit_transform(x_valid)
x_test_scaled=scaler.fit_transform(x_test)


#构建自己的模型
def build_model(hidden_layers=1,layer_size=30,learning_rate=3e-3):
    model=keras.models.Sequential()
    model.add(keras.layers.Dense(layer_size,activation="relu",input_shape=x_train.shape[1:]))
    for _ in range(hidden_layers-1):
        model.add(keras.layers.Dense(layer_size,activation="relu"))
    model.add(keras.layers.Dense(1))
    optimizer=keras.optimizers.SGD(learning_rate)
    model.compile(loss="mse",optimizer=optimizer)
    return model


import datetime
current_time = datetime.datetime.now().strftime("%Y%m%d-%H%M%S")
logdir = os.path.join('logs', current_time)
callbacks=[
    keras.callbacks.EarlyStopping(patience=3,min_delta=1e-3),
    keras.callbacks.TensorBoard(log_dir=logdir)
]

model=keras.wrappers.scikit_learn.KerasRegressor(build_model)

callback=[keras.callbacks.EarlyStopping(patience=3,min_delta=1e-3)]
#使用默认参数的模型
history=model.fit(x_train_scaled,y_train,validation_data=(x_valid_scaled,y_valid),epochs=100,callbacks=callback)


def plot_learning_curves(history):
    pd.DataFrame(history.history).plot(figsize=(8,5))
    plt.grid()
    plt.gca().set_ylim(0,1)
    plt.show()

plot_learning_curves(history)


#实现超参数搜索
from scipy.stats import reciprocal

param_distribution={
    "hidden_layers":[3,4],
    "layer_size":np.arange(24,27),
    "learning_rate":reciprocal(0.001,0.005)
}

#随机搜索
from sklearn.model_selection import RandomizedSearchCV

random_searchcv=RandomizedSearchCV(model,param_distribution,n_iter=10,verbose=0)
random_searchcv.fit(x_train_scaled,y_train,validation_data=(x_valid_scaled,y_valid),epochs=100)


print("得到的最好参数为:",random_searchcv.best_params_)
print("最好的得分为:",random_searchcv.best_score_)



model=random_searchcv.best_estimator_.model
history1=model.fit(x_train_scaled,y_train,validation_data=(x_valid_scaled,y_valid),epochs=100,callbacks=callbacks)

plot_learning_curves(history1)

print(model.evaluate(x_test_scaled,y_test,verbose=0))

在这里插入图片描述 在这里插入图片描述Эффекты модели с параметрами по умолчанию在这里插入图片描述Используйте результаты случайного поиска在这里插入图片描述

Откройте tensorboard, чтобы увидеть модель在这里插入图片描述

3. Резюме:

Хотя использование поиска по гиперпараметрам удобно, есть некоторые предостережения. Например, если вам нужно знать, какие параметры важнее, постарайтесь быть максимально точными, наоборот, можно немного смягчить требования. В конце концов, будь то поиск по сетке или случайный поиск, если параметров слишком много, время расчета будет очень большим. Кстати, при использовании поиска по гиперпараметру я хочу установить n_jobs больше 1, и операция сообщит об ошибке. Я еще не нашел хорошего решения, что также приводит к увеличению времени расчета данных. то, что требует опыта!

Категории