Операции в нейронных сетях

«Это 20-й день моего участия в ноябрьском испытании обновлений. Подробную информацию об этом событии см.:Вызов последнего обновления 2021 г.".

Ранее мы нарисовали схему нейронной сети, похожую на следующую. Для каждого слоя рисуется только один прямоугольник, представляющий весь слой, а не каждый нейрон, хотя на самом деле нейронов в нем довольно много, и использовать линии для представления отношений действительно сложно. Но, к счастью, нам на самом деле не нужно иметь точный контроль над каждым нейроном, у нас есть единый метод обработки, который представляет собой матрицу.

Рассмотрим подобную ситуацию, предположив, что входные данные представляют собой образец с n функциями, он проходит через слой. И эти m нейронов, выход этих нейронов будет использоваться как вход следующего слоя.

Ради единообразия естественной идеей является то, что характеристики формы входных данных одного слоя должны быть такими же, как характеристики формы входных данных следующего слоя (слово, используемое здесь, может быть неточным, пожалуйста, поймите).

Например, форма ввода $1 \times n$ Выход слоя — это m нейронов, и веса их нейронов будут соответствовать входным данным. Так что теперь нужно рассмотреть это $n\times m$ все еще $m\times n$ .

Что касается входных данных, каждый нейрон должен выполнить с ними вычисления и, наконец, получить значение (сейчас не обращайте внимания на смещение b).

И этот расчет эквивалентен скалярному произведению векторов. Обратите внимание на вышеупомянутую форму и скалярное произведение, которое очень напоминает умножение матриц.

X(1,n) \times W(n,m) = XW(1,m)

Проверку можно пересмотреть.Для рассчитанного результата учитывать значение первой позиции

XW_{1,1} =\sum _{k=1}^{n}x_{1k}w_{k1} = \vec X_1 \cdot {\vec W_1}

где относится к строке 1 A и столбцу 1 B. Для B в этот момент его столбцы — это все значения нейрона. То есть результат проверки правильный.

Зная это, вы можете подумать об этом с более простой точки зрения. Умножение матриц — это просто преобразование, преобразование из пространства в пространство. Это эквивалентно преобразованию данных из n-мерного пространства в m-мерное пространство. В середине, естественно, используется матричное умножение.

Понять смещение проще, потому что на самом деле это дополнение, и после того, как вышеуказанное преобразование завершено, добавление может быть выполнено.

Теперь давайте немного изменим его, предположим, что на входе r выборок, а затем рассмотрим, как это сделать. Дело все же в консистенции, наблюдайте за процессом ее умножения $X (r ,n ) \times W (n,m) = XW(r,m)$ , вы можете обнаружить, что умножение матриц вообще не заботится о вашем числе, вы даете ему несколько, и оно выводит несколько. Это хорошая новость, это означает, что процесс здесь такой же, как и предыдущий, и это также означает, что обработка без линейных слоев такая же.

Немного более хлопотной является операция b, которую необходимо понять, хотя для этого слоя расчет приводит к форме $r\times m$ , но обычно форма b $1\times m$ , здесь будет задействована широковещательная операция (хорошая новость в том, что все числовые операции поддерживают эту операцию по умолчанию), а конкретная операция заключается в добавлении b для каждой строки. эквивалентно тому, что b во время операции является $r\times m$ матрица.

Мы уточнили процесс работы выборочных функций каждой строки. Однако иногда есть ребята, которые не разыгрывают карты по формуле, они будут использовать способ вектор-столбца для организации данных, а это означает, что предыдущий ввод будет таким $X(n,r)$ .

Практика по-прежнему заключается в том, чтобы учитывать согласованность, входные данные для следующего уровня должны быть $M(m,r)$ . Так что середина должна быть $W (m,n)$ . Операция по-прежнему является умножением матриц, но порядок должен быть изменен, чтобы стать $W(m,n) \times X (n,r) = WX(m,r)$ , объекты отображаются.

Еще один момент, который следует учитывать, - это смещение б. Если вы хотите сохранить смещение одного нейрона в каждой строке, например матрицу весов, вы можете напрямую использовать умножение матриц. И если вы используете строки для хранения m смещений, вам нужно сначала транспонировать, а затем подгонять операцию вещания.

Давайте используем numpy для этого:

def linear(features: Tensor, weight: Tensor, b: Tensor, style='row'):
    if style == 'row':
        return features @ weight + b
    elif style.startswith('col'):
        return weight @ features + b
    else:
        raise ValueError("没有这种样式")

Прямая операция рассмотрена выше, а другая вещь, которую следует рассмотреть, — это обратная операция, то есть конкретная матричная операция при обратном распространении.

Также из соображений согласованности для линейного слоя он имеет n входных объектов и m выходных. Теперь дайте ему r входных данных с n функциями $r\times n$ , затем он сопоставляет данные с $r \times m$ . Предположим, что тот, который передается этому слою во время обратного распространения, также является $r \times m$ , то учитывая, что форма градиента, который необходимо распространить в этом слое, также должна быть $r \times n$ .

И форма весовой матрицы этого слоя $n\times m$ . Умножение здесь очевидно.

Матричные операции, распространяющие градиенты на нижние слои

P(r,m) \times W^T (m,n) = PW^T(r,n)

И для обновления весов это будет зависеть от ввода $X(r,n)$ , вы получаете одно и то же представление независимо от того, считаете ли вы, что оно должно быть независимым от r или что оно должно соответствовать форме W .

W(n,m) = W(n,m) - X^T(r,n) \times P(r,m)

Другая часть, которую следует рассмотреть, — это b , для которого, в только что сделанном предположении, он должен быть $1 \times m$ , и было передано $r \times m$ , а это значит, что размерность должна быть уменьшена (это можно понять так: прямое направление достигается широковещательной передачей, а обратное направление тоже нуждается в способе сделать его работоспособным). Конкретный подход может заключаться в снижении размерности с помощью операций агрегирования, таких как суммирование.

Код здесь больше не используется.

В целом, каждый слой в нейронной сети можно рассматривать отдельно, и упор делается на согласованность, которую, как правило, легче понять.