Обзор

Короче говоря, нейронная сеть — это функция: входные данные, выходные результаты.

функция

мы начинаем сРаспознавание рукописных цифр MNISTВ качестве примера определим соответствующую форму функции:

тип задачи: Классификация изображений
входить: изображение содержит 28 x 28 = 784 пикселя, каждый пиксель представлен действительным числом.
вывод: 0-9
детали миссии: Определите уникальные номера из листов изображений
определение функции

$y = f(x_1, x_2, ..., x_{784})$ $x_i \in \mathbb R, i = 1, ..., 784$ $y \in \{0, 1, ..., 9\}$

Это приложение начального уровня нейронных сетей.Вход представляет собой черно-белое изображение с низким разрешением (28 x 28), соответствующее функции с 784 входными переменными. Если это цветное мегапиксельное изображение, соответствующие входные переменные достигнут 3 миллионов.

Видно, что нейронная сеть используется для решения каких-то сложных задач, и соответствующие функции тоже сложные. Для реализации алгоритма необходимо построить соответствующую функцию.

Как можно построить такую сложную функцию? Мы можем начать с простых функций, самым простым и удачным примером которых являются цифровые схемы.

Цифровые схемы

Цифровые схемы являются краеугольным камнем компьютеров и составляют наш огромный цифровой мир. Но его ядро состоит из логических элементов И, ИЛИ и НЕ.

Что такое логический вентиль? На самом деле это функция. И это самые простые функции.

логический вентиль	выражение	функциональная форма
И воротаAND	$x \land y$	$z = \land(x, y)$
ИЛИ воротаOR	$x \lor y$	$z = \lor(x, y)$
НЕ воротаNOT	$\lnot x$	$y = \lnot(x)$

Тип переменной: обе являются логическими переменными только с двумя значениями: $\{T, F \}$ , намного больше, чем натуральные числа ( $\mathbb N$ ), вещественные числа ( $\mathbb R$ )Простой.
Количество переменных: унарные или бинарные функции, а также простейшая функциональная форма
Представление функции: описывается с помощью таблицы истинности. Почему бы не использовать изображения? Поскольку это дискретная функция, это какие-то изолированные точки на изображении, что не очень красиво.

НЕ ворота НЕ

$x$	$\lnot x$
$T$	$F$
$F$	$T$

И ворота И, ИЛИ ворота ИЛИ

$x$	$y$	$x \land y$	$x \lor y$
$T$	$T$	$T$	$T$
$T$	$F$	$F$	$T$
$F$	$T$	$F$	$T$
$F$	$F$	$F$	$F$

И изображение ворот

ИЛИ изображение ворот

комбинационный логический вентиль

Комбинация простых логических вентилей дает более мощные функции.

Создайте новую бинарную функцию:

Исключающее ИЛИ: $x \oplus y = (x \land \lnot y) \lor (\lnot x \land y)$
То же или: $x \ominus y = (x \land y) \lor (\lnot x \land \lnot y)$

Постройте многомерную функцию:

3 бита с: $f(x,y,z) = x \land y \land z$
8-битный сумматор: $f(x_1, ..., x_8, y_1, ..., y_8)$
- Это 16-элементная функция с 16 булевыми переменными.

Составляя простые функции, можно построить сложные функции. Эта идея применима и к нейронным сетям.

Нейронные сети

Нейронные сети также являются функциями. Как и цифровые схемы, он также состоит из простых функций. Базовой единицей цифровой схемы являются логические элементы И, ИЛИ и НЕ, а базовой единицей нейронной сети является нейрон.

нейроны

Так что же такое нейроны? Биологический нейрон представляет собой клетку с входными дендритами и выходными аксонами. Нейрон в нейронной сети — это искусственный нейрон, который также является функцией, точнее, классом функций.

Количество входов нейрона может варьироваться, то есть он представляет собой $n$ метафункция $f(x_1, ..., x_n)$ , а разные нейроны $n$ может быть разным.

Нейронные сети

Нейроны объединяются друг с другом, образуя нейронную сеть. Как показано ниже:

Нейронная сеть содержит три нейрона:

$f_1(x_1, ..., x_n)$
$f_2(x_1, ..., x_n)$
$f_3(x_1, x_2)$

Функция, представленная нейронной сетью: $f(x_1, ..., x_n) = f_3(f_1(x_1, ..., x_n), f_2(x_1, ..., x_n))$

проблема

Какую именно функцию выполняет нейрон?

только знаю, что $n$ Метафункций мало, базовые единицы цифровых цепей и, или, и не гейты, все выводят таблицы истинности и рисуют образы, а как же нейроны?

Справочное программное обеспечение

Интерактивная версия диаграммы, пожалуйста, обратитесь к: 神经网络与深度学习