Примечания к исследованию нейронной сети 4 - слой softmax + логарифмическая функция стоимости

Сегодня восьмой день моего ноябрьского испытания обновлений.

Помимо кросс-энтропийного метода, есть еще один способ улучшить нейросеть — добавление слоя нейронов softmax

слой нейронов softmax

Слой нейронов softmax определяет новыйвыходной слой, его положение в нейронной сети показано на следующем рисунке:

для ввода $z^L_j=\sum_kw^L_{jk}a^{L-1}_k+b^L_j$ , метод softmaxt применяет функцию softmax в $z^L_j$ выше, то есть для $j$ Нейрон, значение активации которого равно:

a^L_j=\frac{e^{z^L_j}}{\sum_ke^{z^L_k}}

$\sum_k$ Указывает, что суммирование выполняется на всех нейронах.Формула показывает, что функция softmax будет выполнять две операции над входным значением нейрона:

будет введено промежуточное значение $z^L_j$ через экспоненциальную функцию $e^x$ сопоставить с $[0,+\infty]$ в пространстве
На неотрицательном интервале найдите долю отображенного значения каждого нейрона в сумме всех значений

Согласно приведенной выше формуле сумма выходных значений активации всех нейронов должна быть равна 1, а именно:

\sum_j a^L_j=\frac{\sum_j e^{z^L_j}}{\sum_ke^{z^L_k}} = 1

То есть выходные данные слоя softmax можно рассматривать как распределение вероятностей, и во многих задачах можно напрямую использовать значение активации вывода. $a^L_j$ Интерпретируется как вероятность принадлежности входной выборки к определенной категории, что является очень удобным способом решения задачи.

функция softmaxt

S_i=\frac{e^i}{\sum_je^j}

Принцип softmax для увеличения скорости обучения

Чтобы объяснить это, сначала определите логарифмическую функцию стоимости правдоподобия (которая является хорошим партнером для слоев softmax), $x$ представляет обучающий вход нейронной сети, $y$ представляет собой ожидаемый целевой результат, тогда примерно $x$ Функция стоимости логарифмического правдоподобия:

C=-\ln a^L_y

Рассчитать функцию стоимости по параметрам $w$ и $b$ Частная производная от (процесс расчета):

\frac{\partial C}{\partial b^L_j}={a^L_j-y_j}

\frac{\partial C}{\partial w^L_{jk}}=a^{L-1}_j(a^L_j-y_j)

Этот метод также исключает $\sigma'(z)$ чтобы избежать проблемы падения скорости обучения. Таким образом, небольшой эффект «функции стоимости softmax + логарифмического правдоподобия» может быть эквивалентен: «квадратичная функция стоимости + перекрестная потеря энтропии».

Почему это называется софтмакс

Добавьте нормальную сумму в функцию softmax $c$ , формула принимает вид:

a^L_j=\frac{e^{cz^L_j}}{\sum_ke^{cz^L_k}}

Из смысла формулы, объясненной ранее, видно, что увеличение $c$ После этого сумма всех значений активации вывода по-прежнему равна 1. когда $c=1$ Функция softmax получается, когда $c\rightarrow +\infty$ час, $a^L_j\rightarrow 1$ , что делает невозможным различение разности вероятностей каждого класса, $soft$ Смысл в том, чтобы сгладить кривую распределения вероятностей, чтобы малые числа имели определенное значение.

и $max$ Смысл легче понять, т. $e^x$ Из изображения функции видно, что она очень быстро растет и может отображать большие числа в большое пространство, а маленькие числа — в относительно небольшое пространство, эффективно достигая цели отсеивания максимальной вероятности.

Обратное распространение softmax и логарифмическое правдоподобие

В алгоритме обратного распространения для вычисления ошибки $\delta$ , в алгоритме обратного распространения softmax+log-правдоподобия его формула расчета выглядит следующим образом:

\delta^L_j=a^L_j-y_j

который $\frac{\partial C}{\partial b^L_j}$ значение $\delta^L_j$ , процесс доказательства был написан в предыдущих примечаниях.