Заметки об исследовании нейронной сети — обратное распространение

Сегодня седьмой день моего ноябрьского испытания обновлений.

Backpropagation backpropagation — быстрый алгоритм вычисления градиента функции стоимости

Используйте матрицы для быстрого вычисления выходных данных

Чтобы объяснить проблему, сначала дайте четкое определение весов в нейронной сети, как показано на следующем рисунке:

такое же определение $b^l_j$ во-первых $l$ первое $j$ Смещение нейронов:

Исходя из вышеприведенного определения, мы можем получить $l$ первое $j$ значение активации нейрона $a^l_j$ (это значение и $l-1$ значение активации слоя $a^{l-1}_k$ Связанный):

a^l_j=\sigma(\sum_kw^l_{jk}a^{l-1}_k+b^l_j)

в $\sum_kw^l_{jk}a^{l-1}_k$ середина $k$ выражать $l-1$ количество всех нейронов в слое для каждого слоя $l$ определить весовую матрицу $w^l$ , $w^l$ Элементы в $l-1$ слой до $l$ веса соединений слоев, поэтому $w^l_{jk}$ можно понимать как $l-1$ средний слой $k$ нейроны к $l$ слой $j$ Веса соединений каждого нейрона.

Приведенную выше формулу можно упростить до:

a^l=\sigma(w^la^{l-1}+b^l)

в вычислениях $a^l$ нужно вычислить промежуточный $z^l=w^la^{l-1}+b^l$ ,будет $z^l$ называется $l$ слой нейроноввзвешенный ввод, поэтому приведенную выше формулу можно упростить до $a^l=\sigma(z^l)$ .

Два предположения о функции стоимости

Целью алгоритма обратного распространения является вычисление функции стоимости $C$ около двух параметров $w$ и $b$ частная производная от $\frac{\partial C}{\partial w},\frac{\partial C}{\partial b}$ . будет $C$ Определяется как квадратичная функция стоимости:

C=\frac{1}{2n}\sum_x||y(x)-a^L(x)||^2

$n$ представляет собой общее количество обучающих выборок, $\sum_x$ Указывает, что все образцы были пройдены, $y=y(x)$ вход $x$ Когда соответствующий ожидаемый целевой результат, $L$ представляет количество сетевых слоев, $a^L=a^L(x)$ это когда вход $x$ Вектор значения активации, выдаваемый сетью.

Чтобы применить алгоритм обратного распространения, функция стоимости должна быть $C$ Сделайте два предположения:

Функция стоимости может быть записана в виде $x$ функция стоимости на $C_x$ среднее значение $C=\frac{1}{n}\sum_xC_x$ , где стоимость каждой независимой выборки $C_x=\frac{1}{2}||y-a^L||^2$ .
Функция стоимости может быть записана как выходная функция нейронной сети: $cost\ C = C(a^L)$ , при этом предположении $C_x$ Далее можно записать так:

C=\frac{1}{2}||y-a^L||^2=\frac{1}{2}\sum_j(y_j-a^L_j)^2

Общие сведения о продукте Адамара/продукте Шура: $s\odot t$

$s\odot t$ представляет поэлементный продукт, $(s\odot t)_j=s_jt_j$ ,Следующее:

Дифференциация, градиент и градиентный спуск

четыре основные формулы

Ядром алгоритма обратного распространения является вычисление частных производных $\frac{\partial C}{\partial w^l_{jk}},\frac{\partial C}{\partial b^l_j}$ , с целью введения сначала промежуточной величины $\delta^l_j$ , представляющий первый $l$ слой $j$ Ошибка на нейронах:

\delta^l_j=\frac{\partial C}{\partial z^l_j}

Эта формула основана на эвристическом знании того, что $\frac{\partial C}{\partial z^l_j}$ является мерой нейронной ошибки.

Обратное распространение основано на четырех основных формулах, которые позволяют нам вычислить ошибку и градиент функции стоимости.

Формула 1

ошибка выходного слоя $\delta^L$ Формула:

\delta^L_j=\frac{\partial C}{\partial a^l_j}\sigma'(z^L_j) \tag{1}

формула $\frac{\partial C}{\partial a^l_j}$ выразить цену $C$ С первым $l$ слой $j$ значение активации нейронного выходаскорость изменения, $\sigma'(z^L_j)$ представляет функцию активации $\sigma$ существует $z^L_j$ скорость изменения при . Для квадратичной функции стоимости $C=\frac{1}{2}\sum_j(y_j-a_j)^2$ , $\frac{\partial C}{\partial a^l_j}=(a_j-y_j)$ .

Для удобства расчета формулу (1) перепишем в матричной форме:

\delta^L=\nabla_aC\odot\sigma'(z^L)

Принимая во внимание частную производную квадратичной функции стоимости, получаем:

\delta^L=(a^L-y)\odot\sigma'(z^L)

Формула 2

Используйте ошибку следующего слоя $\delta^{l+1}$ для представления ошибки текущего слоя $\delta^l$ :

\delta^l=((w^{l+1})^T\delta^{l+1})\odot\sigma'(z^l) \tag{2}

Формула (2) дает метод получения ошибки текущего слоя из ошибки следующего слоя, который является методом обратного распространения.обеспечить регрессСмысл , то есть его можно рассматривать как перемещение ошибки в обратном направлении по сети, а ошибку любого слоя можно вычислить, комбинируя формулу (1) и формулу (2).

Формула 3

Функция стоимости и скорость изменения, связанные с любым смещением в сети:

\frac{\partial C}{\partial b^l_j}=\delta^l_j \tag{3}

Уравнение (3) доказывает ошибку $\delta^l_j$ и значения частных производных $\frac{\partial C}{\partial b^l_j}$ точно так же.

Формула 4

Функция стоимости и скорость изменения, связанные с любым весом:

\frac{\partial C}{\partial w^l_{jk}}=a^{l-1}_k\delta^l_j \tag{4}

Уравнение (4) дает частную производную $\frac{\partial C}{\partial w^l_{jk}}$ , который можно упростить до:

\frac{\partial C}{\partial w}=a_{in}\delta_{out}

$a_{in}$ представляет вес $w$ Значение активации ввода по ссылке , $\delta_{out}$ представляет вес $w$ Ошибка вывода по ссылке показана на следующем рисунке:

Характерный порядок сигмовидной функции $\sigma$ Изменение будет очень небольшим вблизи 0 или 1, что также замедлит обучение веса, для такой ситуации, уже называемой выходным нейроном.насыщенность, а затем обучение веса будет прекращено (или обучение будет очень медленным).Из приведенной выше формулы видно, что скорость обучения и $\sigma'$ Связанный.

Доказательство четырех формул

жизненный опыт

Формула многомерного цепного правила исчисления:

\frac{dw}{dt}=\sum^n_{i=1}\frac{\partial w}{\partial x_i}\frac{dx_i}{dt}

Уравнение 1 Доказательство

вспомнить ошибку вывода $\delta$ Определение:

\delta^L_j=\frac{\partial C}{\partial z^L_j}

Основываясь на вышеуказанных базовых знаниях, уравнение 1 можно переписать как:

\delta^L_j =\sum_k \frac{\partial C}{\partial a^L_k}\frac{\partial a^L_k}{\partial z^L_j}

$k$ представляет все нейроны в выходном слое, первый $k$ нейронный $a^L_k$ зависеть только от $k=j$ ввод веса, когда $z^L_j$ , то есть $k \neq j$ Время $\frac{\partial a^L_k}{\partial z^L_j}$ Не существует, основываясь на предыдущей теории, приведенную выше формулу можно преобразовать в:

\delta^L_j = \frac{\partial C}{\partial a^L_j}\frac{\partial a^L_j}{\partial z^L_j}

на основе $a^L_j=\sigma(z^L_j)$ Правая часть приведенной выше формулы может быть записана как $\sigma'(z^L_j)$ , поэтому уравнение 1 может быть получено:

\delta^L_j=\frac{\partial C}{\partial a^l_j}\sigma'(z^L_j) \tag{1}

Уравнение 2 Доказательство

Продолжайте расширять ошибку $\delta$ :

\delta^l_j=\frac{\partial C}{\partial z^l_j}

По-прежнему используя цепное правило, основная идея уравнения 2 состоит в том, чтобы использовать следующий уровень ошибки для представления текущей ошибки, поэтому мы должны найти способ ввести $\delta^{l+1}_k$ ,и $\delta^{l+1}_k=\frac{\partial C}{\partial z^{l+1}_j}$ , по-видимому, чтобы найти способ ввести $\partial z^{l+1}_j$ в формулу ошибки:

\delta^l_j=\frac{\partial C}{\partial z^l_j} =\sum_k \frac{\partial C}{\partial z^{l+1}_k}\frac{\partial z^{l+1}_k}{\partial z^{l}_j}=\sum_k \frac{\partial z^{l+1}_k}{\partial z^{l}_j} \delta^{l+1}_k

Зависит от $z$ можно определить как:

z^{l+1}_k=\sum_jw^{l+1}_{kj}a^l_j+b^{l+1}_k=\sum_j w^{l+1}_{kj}\sigma(z^l_j)+b^{l+1}_k

рассчитать $\frac{\partial z^{l+1}_k}{\partial z^{l}_j}$ получить:

\frac{\partial z^{l+1}_k}{\partial z^{l}_j}=w^{l+1}_{kj}\sigma'(z^l_j)

Процесс вычисления можно доказать с помощью математической индукции следующим образом:

когда $j=1$ Время:

\frac{\partial z^{l+1}_k}{\partial z^{l}_1}=w^{l+1}_{k1}\sigma'(z^l_1)

когда $j=2$ Время:

\frac{\partial z^{l+1}_k}{\partial z^{l}_2}=w^{l+1}_{k2}\sigma'(z^l_2)

когда $j=m$ Время:

\frac{\partial z^{l+1}_k}{\partial z^{l}_m}=w^{l+1}_{km}\sigma'(z^l_m)

Доказательство завершено

Комбинируя приведенные выше формулы, можно получить формулу 2:

\delta^l_j=\sum_k w^{l+1}_{kj}\delta^{l+1}_k\sigma'(z^l_j)= ((w^{l+1})^T\delta^{l+1})\odot\sigma'(z^l)

Доказательство уравнения 3

\frac{\partial C}{\partial b^l_j}=\frac{\partial C}{\partial z^l_j}\frac{\partial z^l_j}{\partial b^l_j}=\delta^l_j \times 1

Уравнение 4 Доказательство

\frac{\partial C}{\partial w^l_{jk}}=\frac{\partial C}{\partial z^l_{j}}\frac{\partial z^l_{j}}{\partial w^l_{jk}}=\delta^l_j\frac{\partial (\sum_k w^l_{jk}a^{l-1}_k+b^l_j)}{\partial w^l_{jk}}=a^{l-1}_k\delta^l_j

Процесс алгоритма обратного распространения

input x: установите значение активации для входного слоя $a^1$
Прямое распространение: для запуска со второго слоя $l=2,3,4...,L$ Вычислить медиану $z^l=w^la^{l-1}+b^l$ и $a^l=\sigma(z^l)$
ошибка выходного слоя $\delta^L$ : вычислить ошибку последнего слоя (выходного слоя). $\delta^L=\nabla_aC\odot\sigma'(z^L)$
Обратное распространение ошибок: основано на $\delta^L$ Обратить ошибку предыдущего слоя ( $l=L-1,L-2,...,2$ ), рассчитать $\delta^l=((w^{l+1})^T\delta^{l+1})\odot\sigma'(z^l)$
Выход: вычислить градиент функции стоимости, т.е. $\frac{\partial C}{\partial b^l_j}=\delta^l_j$ , $\frac{\partial C}{\partial w^l_{jk}}=a^{l-1}_k\delta^l_j$ .

На основе алгоритма обратного распространения применяется метод градиентного спуска для обновления процесса параметров:

Реализация алгоритма

# 反向传播算法
    # 返回一个元祖，nabla_b, nabla_w表示损失函数C_x的梯度
    def backprop(self,x,y):
        nabla_b = [np.zeros(b.shape) for b in self.biases]
        nabla_w = [np.zeros(w.shape) for w in self.weights]
        # feedforward 前向传播
        #设置输入层激活值activation=a^1
        #activations 用来存储每层的激活值
        activation = x
        activations = [x]
        # zs用来存储每一层的中间值z
        zs = [] #
        for b, w in list(zip(self.biases, self.weights)):
            # 中间值z的计算
            z = np.dot(w, activation) + b
            zs.append(z)
            # 基于z计算激活值
            activation = sigmoid(z)
            activations.append(activation)
        # backward pass 反向传播
        # cost_derivative 计算网络输出值和期望输出的差值 即nabla C
        # sigmoid_prime返回sigmoid函数的导数
        # 计算误差delta
        delta = self.cost_derivative(activations[-1], y) * sigmoid_prime(zs[-1])
        # 计算参数b和w的梯度
        nabla_b[-1] = delta
        nabla_w[-1] = np.dot(delta, activations[-2].transpose())
        # 从后往前（反向）逆推前面层的误差delta
        for l in range(2, self.num_layers):
            # 反向因此此处是-l
            z = zs[-l]
            sp = sigmoid_prime(z)
            delta = np.dot(self.weights[-l + 1].transpose(), delta) * sp
            # 存储对应层的nabla b和 nabla w
            nabla_b[-l] = delta
            nabla_w[-l] = np.dot(delta, activations[-l - 1].transpose())
        return nabla_b, nabla_w