Сверточная нейронная сеть

искусственный интеллект

развитие

1986 Алгоритм обратного распространения ошибки BP

1998 Использование алгоритма BP для обучения сети LeNet5.

2006 Представлена ​​концепция глубокого обучения.

2012 Глубокое обучение выиграло чемпионат в соревновании поля зрения

полносвязный слой

  • нейроны

  • Обратное распространение БП

  • одноразовое кодирование

сверточный слой

  • Цель: Извлечение признаков

  • Особенности: имеет локальный механизм восприятия, распределение веса

  • Канал ядра свертки такой же, как и канал входного векторного слоя.

  • Канал выходной матрицы признаков совпадает с количеством сверточных слоев.

  • функция активации:

    • sigmoid

    • Relu

  • Размеры матрицы после свертки:

N=(W−F+2P)/S+1N = (W-F+2P) / S + 1

объединяющий слой

  • Цель: разрезать карту объектов, чтобы уменьшить объем вычислений данных.

  • нет параметров тренировки

  • Измените только w и h матрицы признаков и не изменит канал

  • Как правило, размер пула такой же, как шаг

Расчет ошибки

oi*o_i^*истинное значение метки,oio_iпрогнозируемое значение

  • softmax
oi=eyi∑j=1Neyio_i=\frac{e^{y_i}}{ \sum\limits_{j=1}^N e^{y_i}}

  • Перекрестная потеря энтропии Перекрестная потеря энтропии

    • вывод softmax, сумма всех выходных вероятностей равна 1
    H=−∑i=1Noi*log(oi)H = - \sum\limits_{i=1}^No_i^*log(o_i)
    • сигмовидный вывод, каждый узел не зависит друг от друга
    H=−1N∑i=1N[oi*log(oi)+(1−oi*)log(1−oi)]H = - \frac{1}{N} \sum\limits_{i=1}^N[o_i^*log(o_i) + (1-o_i^*)log(1-o_i)]

Обратное распространение ошибок

  • Используйте цепное правило вывода, чтобы найти градиент потери ошибки

обновление веса

wt+1=wt−αgtw_{t+1} = w_t - \alpha g_t

  • Оптимизатор SGD

    • Восприимчив к шуму сэмпла
    • Может застрять в локальном оптимуме

  • Оптимизатор SGD+Momentum, вводящий коэффициент импульса для уменьшения влияния шума выборки

  • Оптимизатор Adagrad, адаптивная скорость обучения

  • Оптимизатор RMsprop, адаптивная скорость обучения

  • Оптимизатор Адама, адаптивная скорость обучения

перевод обучения

  • Может быстро тренироваться до идеального результата
  • Он также может тренировать идеальные результаты, когда набор данных небольшой.
  • При использовании параметров предварительно обученной модели других людей обратите внимание на методы предварительной обработки других людей.
Категории