Подробно объясните, как получить выходное значение среднего слоя модели глубокого обучения.

искусственный интеллект

1. Представьте

Модели глубокого обучения в основном представляют собой многоуровневые сети, и каждый слой может быть разным (Dense, Dropout, Flatten, Activation, BatchNormalization, GlobalAveragePooling2D, Conv2D, MaxPooling2D, ZeroPadding2D, LSTM).

Иногда нам нужно получить выходное значение слоя в многослойной сети для визуализации или встраивания.

Ниже приведен пример, иллюстрирующий, как получить выходное значение определенного слоя нейронной сети.

2. Постройте сеть, добавьте имя каждому слою.

Модель многослойной сети, построенная в этой статье, выглядит следующим образом:

from keras.models import Sequential
from keras.layers import Dense, Dropout, Flatten
from keras.layers import Conv2D, MaxPooling2D
from keras_self_attention import SeqSelfAttention
import keras
import numpy as np

num_classes = 6 # classification number
x_train = np.random.randn(100, 15, 20, 3) # x_train.shape = (100, 15, 20, 3)
y_train = np.random.randint(1, size=(100,num_classes)) # y_train.shape = (100, 6)
input_shape = x_train.shape[-3:]# (15, 20, 3)


model = Sequential()
model.add(Conv2D(32, (2,11), activation='relu', padding='same', input_shape=input_shape, name='layer_conv_1'))
model.add(Conv2D(32, (2,11), activation='relu', padding='same', name='layer_conv_2'))
model.add(MaxPooling2D(pool_size=(3, 3), strides=(2, 1), name='layer_mp_1'))
model.add(Conv2D(128, (2,7), activation='relu', padding='same', name='layer_conv_3'))
model.add(MaxPooling2D(pool_size=(3, 3), strides=(2, 1), name='layer_mp_2'))
model.add( keras.layers.Reshape((48,128), name='layer_rsp_1') )
model.add( SeqSelfAttention( attention_type=SeqSelfAttention.ATTENTION_TYPE_MUL, name='layer_attention_1') )
model.add(Flatten(name='layer_flatten_1'))
model.add(Dense(440, activation='relu', name='layer_dense_1'))
model.add(Dropout(0.5, name='layer_dropout_1'))
model.add(Dense(num_classes, activation='softmax', name='layer_dense_2'))
model.compile(loss='categorical_crossentropy', optimizer='adam')
model.summary()

Несколько замечаний:

  1. Чтобы добавить атрибут имени к каждому слою модели, например (name='layer_conv_1')
  2. Данные обучения модели представляют собой случайное число, сгенерированное numpy, подробности см. в примечаниях.
  3. Используемые версии: tensorflow==2.4.0, keras==2.4.3, python==3.7

После того, как модель построена, параметры следующие

Model: "sequential_1"
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
layer_conv_1 (Conv2D)        (None, 15, 20, 32)        2144      
_________________________________________________________________
layer_conv_2 (Conv2D)        (None, 15, 20, 32)        22560     
_________________________________________________________________
layer_mp_1 (MaxPooling2D)    (None, 7, 18, 32)         0         
_________________________________________________________________
layer_conv_3 (Conv2D)        (None, 7, 18, 128)        57472     
_________________________________________________________________
layer_mp_2 (MaxPooling2D)    (None, 3, 16, 128)        0         
_________________________________________________________________
layer_rsp_1 (Reshape)        (None, 48, 128)           0         
_________________________________________________________________
layer_attention_1 (SeqSelfAt (None, 48, 128)           16385     
_________________________________________________________________
layer_flatten_1 (Flatten)    (None, 6144)              0         
_________________________________________________________________
layer_dense_1 (Dense)        (None, 440)               2703800   
_________________________________________________________________
layer_dropout_1 (Dropout)    (None, 440)               0         
_________________________________________________________________
layer_dense_2 (Dense)        (None, 6)                 2646      
=================================================================
Total params: 2,805,007
Trainable params: 2,805,007
Non-trainable params: 0
_________________________________________________________________

3. Получите вывод среднего слоя

  1. После того, как модель построена, ее необходимо сначала обучить, чтобы можно было получить веса каждого слоя:
model.fit(x_train, y_train,batch_size=64,epochs=2,verbose=1)
  1. После завершения обучения модели укажите имя промежуточного слоя для вывода и установите модель от входа до вывода.函数对象:
import keras.backend as k

layer_name = 'layer_conv_3'
layer_output = model.get_layer(layer_name).output # get output by layer name
layer_input = model.input
output_func = k.function([layer_input], [layer_output]) # construct function

Здесь для layer_name установлено значение layer_conv_3, что означает, что мы хотим получить выходное значение слоя с именем layer_conv_3.

  1. Получить измерение данных ввода и вывода

(1) Исходные входные данные, есть 100 образцов, каждый образец является трехмерным. x_train.shape = (100, 15, 20, 3)

x_preproc = x_train

(2) Измерение выходных данных промежуточного слоя layer_conv_3

output_shape = output_func([x_preproc[0][None, ...]])[0].shape
print(output_shape)# (1, 7, 18, 128)

Выходной размер полученного промежуточного слоя равен (1, 7, 18, 128). Из вывода параметра модели в Части 2 видно, что эти данные просто совпадают (Нет, 7, 18, 128), но здесь это значение может быть получено динамически с помощью кода.

(3) Введите 100 выборок, тогда средний слой layer_conv_3 соответствует размерности выходных данных этих 100 выборок:

activations = np.zeros((x_preproc.shape[0],) + output_shape[1:], dtype=float32)
print(activations.shape) # (100, 7, 18, 128)

В конечном счете, активации представляют собой массив со всеми нулями, и именно здесь хранится окончательное выходное значение среднего уровня.

  1. Отправьте x_train в модель, чтобы получить выходное значение конечного промежуточного слоя.
batch_size = 8
for batch_index in range(int(np.ceil(x_preproc.shape[0] / float(batch_size)))):
    begin, end = batch_index * batch_size, min((batch_index + 1) * batch_size, x_preproc.shape[0])
    activations[begin:end] = output_func([x_preproc[begin:end]])[0]

Здесь выполняется итерация в соответствии с каждым batch_size и по очереди отправляется часть x_train函数对象, чтобы получить выходные данные среднего слоя, соответствующие этой части, и после нескольких итераций можно получить полные выходные данные среднего слоя.

  1. Окончательные выходные данные среднего слоя

Окончательные выходные данные промежуточного слоя хранятся в активациях, и их форма (100, 7, 18, 128), и данные отображаются следующим образом:

array([[[[0.26599178, 0.73428845, 0.16254057, ..., 0.06111438,
          0.22640981, 0.35272944],
         [0.283226  , 0.6876849 , 0.03790125, ..., 0.34651148,
          0.10112678, 0.29799798],
         [0.54103273, 0.9894899 , 0.10496318, ..., 0.7219487 ,
          0.06900553, 0.38379622],
         ...,
         [0.277767  , 0.47766227, 0.19746281, ..., 0.91875714,
          0.028616  , 0.41216236],
         [0.17200978, 0.47316927, 0.12632905, ..., 0.82960546,
          0.12838002, 0.15124908],
         [0.2677489 , 0.29046324, 0.16919036, ..., 0.86634046,
          0.14427625, 0.09604399]],
         ...,
         [0.17622252, 0.2056456 , 0.13514128, ..., 0.52697086,
          0.05512847, 0.45330787],
         [0.13311246, 0.13437134, 0.17722939, ..., 0.41641268,
          0.        , 0.35246032],
         [0.03272216, 0.07479057, 0.04990054, ..., 0.29089817,
          0.0585143 , 0.17479342]]]], dtype=float32)

4. Резюме

В этой статье объясняются конкретные шаги для получения выходного значения промежуточного слоя модели keras, на которую ссылается ссылка 1.get_activationsФункция написана, пожалуйста, обратитесь к Справке 1 для полного описания функции.

5. Ссылка

  1. stackoverflow.com/questions/4…
Категории