Что означает ноль?
нулевое среднее
В глубоком обучении мы обычно предварительно обрабатываем обучающие изображения, подаваемые в сетевую модель.Наиболее часто используемый метод — центрирование с нулевым средним значением, даже если диапазон значений пикселей становится [-128, 127] с 0 в качестве центра.
эффект
Преимущество этого в том, чтоУскоряет сходимость весовых параметров каждого слоя в сети при обратном распространении.
можно избежатьZ обновлениеЭто может ускорить скорость сходимости нейронной сети. Следующее будет объяснено с помощью Sigmoid, самой классической функции активации:
Sigmoid
Видно, что диапазон значений ==Sigmoid и его производной всегда больше 0==, просмотрите формулу градиентного спуска.
Например, в задаче CV все значения пикселей, которые мы вводим, находятся между (0, 255). То есть, когда x все положительные или все отрицательные, градиент, возвращаемый каждый раз, будет изменяться только в одном направлении, то есть направление изменения градиента будет показано красной стрелкой на рисунке Слишком сильно вниз. Это сделает конвергенцию веса неэффективной.
нулевое среднее
Подход: Вычтите значение каждого пикселя из среднего значения всех значений пикселей в тренировочном наборе.Например, среднее значение всех точек пикселей было рассчитано как 128, поэтому после вычитания 128 текущий диапазон значений пикселей равен [ -128, 127], то есть Удовлетворить, что среднее значение равно нулю.
Разница между нулевым средним и нормализацией визуально представлена картинкой:
Справочная статья:blog.CSDN.net/QQ_41452267…