[Навыки разработки] Как keras замораживает сетевой слой

искусственный интеллект Python

[Навыки разработки] Как keras замораживает сетевой слой

 

При использовании keras для тонкой настройки иногда необходимо заморозить некоторые сетевые слои, чтобы ускорить обучение

В keras предусмотрен метод заморозки одного слоя: layer.trainable = False

Как это следует использовать? вот несколько примеров

1. Заморозить все сетевые слои модели

base_model = DenseNet121(include_top=False, weights="imagenet",input_shape=(224, 224, 3))
for layer in base_model.layers:
    layer.trainable = False


2. Заморозить некоторые сетевые слои модели

В keras, помимо получения слоев из model.layers, мы также можем получить их через model.get_layer(layer_name).

base_model = VGG19(weights='imagenet')
base_model.get_layer('block4_pool').trainable = False

Вы можете спросить, я не знаю, что делать с layer_name? Ответ заключается в том, чтобы вывести его через model.summary(),

Как показано ниже, крайний левый столбец — имя_слоя (обратите внимание на > 

__________________________________________________________________________________________________
Layer (type)                    Output Shape         Param #     Connected to
==================================================================================================
input_1 (InputLayer)            (None, 224, 224, 3)  0
__________________________________________________________________________________________________
NASNet (Model)                  (None, 7, 7, 1056)   4269716     input_1[0][0]
__________________________________________________________________________________________________
resnet50 (Model)                (None, 7, 7, 2048)   23587712    input_1[0][0]
__________________________________________________________________________________________________
densenet121 (Model)             (None, 7, 7, 1024)   7037504     input_1[0][0]
__________________________________________________________________________________________________
global_average_pooling2d_1 (Glo (None, 1056)         0           NASNet[1][0]
__________________________________________________________________________________________________
global_average_pooling2d_2 (Glo (None, 2048)         0           resnet50[1][0]
__________________________________________________________________________________________________
global_average_pooling2d_3 (Glo (None, 1024)         0           densenet121[1][0]
__________________________________________________________________________________________________
concatenate_5 (Concatenate)     (None, 4128)         0           global_average_pooling2d_1[0][0]
                                                                 global_average_pooling2d_2[0][0]
                                                                 global_average_pooling2d_3[0][0]
__________________________________________________________________________________________________
dropout_1 (Dropout)             (None, 4128)         0           concatenate_5[0][0]
__________________________________________________________________________________________________
classifier (Dense)              (None, 200)          825800      dropout_1[0][0]
==================================================================================================
Total params: 35,720,732
Trainable params: 825,800
Non-trainable params: 34,894,932
__________________________________________________________________________________________________
None

hope this helps

Категории