Прямое распространение нейронной сети

神经网络1.png

\begin{bmatrix}z_1 \\z_2 \\\vdots \\z_n \\ \end{bmatrix} = \begin{bmatrix}w^{(i)}_{11} & w^{(i)}_{12} & \cdots & w^{(i)}_{1m} \\w^{(i)}_{21} & w^{(i)}_{22} & \cdots & w^{(i)}_{2m} \\\vdots & \vdots & & \vdots \\w^{(i)}_{n1} & w^{(i)}_{n2} & \cdots & w^{(i)}_{nm} \\ \end{bmatrix} \begin{bmatrix}x_1 \\x_2 \\\vdots \\x_n \\ \end{bmatrix} + \begin{bmatrix}b^{(i)}_1 \\b^{(i)}_2 \\\vdots \\b^{(i)}_n \\ \end{bmatrix}

z^{(i)} = W^{(i)}\cdot x + b^{(i)}

\begin{bmatrix}y_1 \\y_2 \\\vdots \\y_n \\ \end{bmatrix} = a\begin{pmatrix}\begin{bmatrix}z_1 \\z_2 \\\vdots \\z_n \\ \end{bmatrix}\end{pmatrix}

y^{(i)} = a(z^{(i)})

Предвзятость $b$

Контролирует, насколько легко активируются нейроны

Веса $w^l_{ij}$

$z^{(i)}$

первое $i$ Промежуточный результат слоев

$y^{(i)}$

первое $i$ вывод слоя

神经网络2.png

one-hot

Положительное решение 1, остальные 0

normalize

нормализовать, нормализовать, нормализовать

получить данные $0\sim1$ между

пакетная обработка

Обработка пакета данных за раз, матричный расчет

sigmoid

f(x) = \frac{1}{1+e^{-x}}

ступенчатая функция

f(x) = \begin{cases} 1 & x > 0 \\ 0 & x \leq 0 \end{cases}

relu

f(x) = \begin{cases} x & x > 0 \\ 0 & x \leq 0 \end{cases}

Функция тождества (регрессия)

f(x) = x

софтмакс (классификация)

f(x) = \frac{e^{x_i}}{e^{x_1} + \cdots + e^{x_n}}

обрабатывать переполнение данных, предотвращать $e^{x_i}$ очень большой

\begin{aligned} f(x) = \frac{e^{x_i - c}}{e^{x_1 - c} + \cdots + e^{x_n - c}} & & c = max\{x_1 ,\cdots, x_n\} \end{aligned}