Нейронные сети

Это 31-й день моего участия в августовском испытании обновлений. Узнайте подробности события:Испытание августовского обновления

Представление нейронных сетей

Есть как линейная регрессия, так и логистическая регрессия Зачем изучать нейронные сети?

Теперь, чтобы привести несколько примеров.

Это задача классификации контролируемого обучения. Есть только два количества признаков.

Если вы используете логистическую регрессию и хотите подогнать приведенную ниже кривую, вам может понадобиться много терминов для разделения положительных и отрицательных выборок.

Только два количества признаков настолько проблематичны, что, если их будет 100?

Даже если включены только квадратичные члены, такие как$x_1^2, x_2^2, ..., x_{100}^2, x_1x_2, x_1x_3, ..., x_{99}x_{100}$, так что в конце также более 5000 многочленов.О$\frac{n^2}{2}$Кусок,$x_1$от$x_1$умножить на$x_{100}$Это 100 предметов и так далее.$x_{100}$от$x_1$умножить на$x_{100}$Это составляет до 10 000 элементов. но$x_1x_{100}$и$x_{100}x_1$то же самое, а затем объединить то же самое. Так что в итоге осталось примерно половина.

Сейчас их более 5000, и конечный результат, скорее всего, будет переобгонным, а также возникнет проблема избыточных вычислений.

Теперь посчитайте три включенных термина.$x_1^3, x_2^3, ..., x_{100}^3, x_1^2x_2, x_1^2x_3, ..., x_{99}x_{100}^2$, так что вы получите 170 000 кубических членов. (Проверьте сами, я не навязываю).

Как видно из приведенного выше примера, когда количество признаков велико, пространство будет быстро расширяться. Поэтому очень неразумно использовать метод построения полиномов для построения нелинейных классификаторов, когда количество признаков n очень велико!

Однако в действительности для многих практических задач машинного обучения число признаков n обычно очень велико.

Например, для задачи компьютерного зрения: теперь вам нужно использовать машинное обучение, чтобы определить, является ли изображение автомобилем.

Вы можете сказать, что это машина, просто взглянув на нее, но вы, конечно, не можете сказать, что это машина сразу.

Возьми этот маленький кусочек. Для вас это похоже на дверную ручку, но она распознает только сетку значений интенсивности пикселей, зная значение яркости каждого пикселя. Таким образом, задача компьютерного зрения состоит в том, чтобы сообщить нам, что эта матрица представляет собой дверную ручку автомобиля на основе матрицы яркости пикселей.

Когда мы используем машинное обучение для создания распознавателя автомобилей, все, что нам нужно сделать, это предоставить помеченный образец. Некоторые из них являются автомобилями, а некоторые образцы не являются автомобилями. Введите такой набор образцов в алгоритм обучения, чтобы обучить классификатор, и, наконец, введите новое изображение, пусть классификатор определит, что это такое.

Необходимость введения нелинейных допущений:

Для автомобиля возьмите два пикселя и поместите их в систему координат. Положение зависит от интенсивности точки 12 пикселя.

Теперь нам нужно нелинейное предположение, чтобы различать два класса выборок.

Предполагая, что изображение автомобиля имеет размер 50*50 пикселей, теперь используйте вектор x для хранения яркости каждого пикселя. Итак, 2500 пикселей. Размерность вектора 2500. Если изображение раскрашено и сохранено в RGB, размерность вектора 7500.

Если теперь вы хотите перечислить нелинейные предположения со всеми квадратичными членами, то квадратичные признаки$\left(x_{i} \times x_{j}\right): \approx 3$миллион функций. Три миллиона, вычислительные затраты слишком высоки. Следовательно, он содержит только квадратные члены и кубические члены, чтобы найти, что даже модель предположения регрессии подходит только для случая, когда n относительно мало. Чем больше n, тем лучше влияние нейронной сети на сложные нелинейные предположения.

Алгоритмы нейронных сетей существуют уже давно, изначально для создания машин, имитирующих мозг.

Отображение модели

Нейронные сети имитируют нейроны в мозге. Нейроны имеют аксоны и дендриты. Аксоны соответствуют входным путям, а дендриты — выходным путям. Нейрон можно рассматривать как вычислительную единицу. между нейронами переменного тока с током. (эммм, будучи студентом-биологом, я до сих пор четко помню это знание...)

В искусственно реализованной нейронной сети используйте следующую простую модель для имитации работы нейронов.

$x_1-x_3$Обозначает дендриты как вход, а справа как модель прогнозирования выхода аксонов.

ввод$x_1-x_3$но обычно с дополнительными узлами$x_0$, стать единицей смещения или нейроном смещения.

Если вы видите вес слова в литературе по нейронным сетям, это на самом деле то же самое, что узнать параметр θ.

Нейронная сеть человека представляет собой группу нейронов, изображение ниже представляет собой более сложное изображение, первый слой синего круга называется входным слоем, потому что мы вводим количества признаков в первый слой. Желтый кружок в последнем слое называется выходным слоем, потому что нейроны этого слоя выводят окончательный результат вычисления гипотезы, а второй слой посередине называется скрытым слоем, а скрытых слоев может быть более одного слой.

$\begin{aligned} a_{i}^{(j)}=& \text { "activation" of unit } i \text { in layer } j \\ \Theta^{(j)}=& \text { matrix of weights controlling } \\ & \text { function mapping from layer } j \text { to } \\ & \text { layer } j+1 \end{aligned}$

$a_{i}^{(j)}$Представляет элемент активации i-го нейрона или единицы в j-м слое, как и для матрицы весов.$\Theta^{(j)}$, который управляет отношением отображения от слоя j к слою j+1.

$\begin{aligned} a_{1}^{(2)}=g\left(\Theta_{10}^{(1)} x_{0}+\Theta_{11}^{(1)} x_{1}+\Theta_{12}^{(1)} x_{2}+\Theta_{13}^{(1)} x_{3}\right) \\ a_{2}^{(2)}=g\left(\Theta_{20}^{(1)} x_{0}+\Theta_{21}^{(1)} x_{1}+\Theta_{22}^{(1)} x_{2}+\Theta_{23}^{(1)} x_{3}\right) \\ a_{3}^{(2)}=g\left(\Theta_{30}^{(1)} x_{0}+\Theta_{31}^{(1)} x_{1}+\Theta_{32}^{(1)} x_{2}+\Theta_{33}^{(1)} x_{3}\right) \\ h_{\Theta}(x)=a_{1}^{(3)}=g\left(\Theta_{10}^{(2)} a_{0}^{(2)}+\Theta_{11}^{(2)} a_{1}^{(2)}+\Theta_{12}^{(2)} a_{2}^{(2)}+\Theta_{13}^{(2)} a_{3}^{(2)}\right) \end{aligned}$

$a_{1}^{(2)}$активационная функция$a_{1}^{(2)}=g\left(\Theta_{10}^{(1)} x_{0}+\Theta_{11}^{(1)} x_{1}+\Theta_{12}^{(1)} x_{2}+\Theta_{13}^{(1)} x_{3}\right)$

На последнем маленьком изображении не добавлена ​​единица смещения, посмотрите на изображение с добавленным нейроном смещения на предыдущем изображении. сюда$\Theta^{(1)}$Матрица представляет первый слой (входной слой x) для второго скрытого слоя$a^{(2)}$Матрица весов (параметров) .

можно понимать как$\Theta^{(1)}=\begin{bmatrix}\theta_{10} \theta_{11} \theta_{12} \theta_{13} \\ \theta_{20} \theta_{21} \theta_{22} \theta_{23} \\ \theta_{30} \theta_{31} \theta_{32} \theta_{33} \end{bmatrix}$