Что означает ноль? Что такое нулевое усреднение?

искусственный интеллект

Что означает ноль?

нулевое среднее

В глубоком обучении мы обычно предварительно обрабатываем обучающие изображения, подаваемые в сетевую модель.Наиболее часто используемый метод — центрирование с нулевым средним значением, даже если диапазон значений пикселей становится [-128, 127] с 0 в качестве центра.

эффект

Преимущество этого в том, чтоУскоряет сходимость весовых параметров каждого слоя в сети при обратном распространении.

можно избежатьZ обновлениеЭто может ускорить скорость сходимости нейронной сети. Следующее будет объяснено с помощью Sigmoid, самой классической функции активации:

Sigmoid

[公式]

img

Видно, что диапазон значений ==Sigmoid и его производной всегда больше 0==, просмотрите формулу градиентного спускаw'=wr*dww'=w-r*dw.

Например, в задаче CV все значения пикселей, которые мы вводим, находятся между (0, 255). То есть, когда x все положительные или все отрицательные, градиент, возвращаемый каждый раз, будет изменяться только в одном направлении, то есть направление изменения градиента будет показано красной стрелкой на рисунке Слишком сильно вниз. Это сделает конвергенцию веса неэффективной.

img

нулевое среднее

Подход: Вычтите значение каждого пикселя из среднего значения всех значений пикселей в тренировочном наборе.Например, среднее значение всех точек пикселей было рассчитано как 128, поэтому после вычитания 128 текущий диапазон значений пикселей равен [ -128, 127], то есть Удовлетворить, что среднее значение равно нулю.

Разница между нулевым средним и нормализацией визуально представлена ​​картинкой:

img

Справочная статья:blog.CSDN.net/QQ_41452267…