Это 3-й день моего участия в ноябрьском испытании обновлений, узнайте подробности события:Вызов последнего обновления 2021 г.
1. Модель нейрона
Определение нейронной сети. Нейронная сеть представляет собой широко параллельную взаимосвязанную сеть адаптивных простых единиц [моделей нейронов].
Модели нейронов — простые единицы в нейронных сетях
При «возбуждении» — посылает химические вещества в связанные нейроны — изменяет потенциал внутри этих нейронов — потенциал превышает определенный порог — активируется — посылает химические вещества в другие нейроны
Модель нейрона MP
Каждый нейрон связан (весовые связи) — «возбужденный» посылает химические вещества — изменяет потенциал внутри нейрона — превышает порог — активируетсяфункция активации- сигмовидная [функция сжатия]
2. Персептроны и многослойные сети
Персептрон - два слоя нейронов - входной слой получает входную информацию и передает ее выходному слою [нейрон M-P] - пороговая логическая единица
Порог — фиктивный узел
Персептрон - нейроны выходного слоя для обработки функции активации - имеет только один слой функциональных нейронов.
И, ИЛИ, НЕ - все линейно отделимы - их разделяет линейная гиперплоскость
нелинейная задача
Персептроны не могут решить — многослойные функциональные нейроны
Проблема XOR — двухслойный персептрон — один слой между входным и выходным слоями: скрытый слой
Нейроны - тот же слой не связан, каждый слой полностью взаимосвязан с нижним слоем, межуровневая связь отсутствует - многослойная нейронная сеть с прямой связью
Многослойная нейронная сеть с прямой связью
Входной слой - принимает ввод
Скрытый и выходной слои — содержат функциональные нейроны
Процесс обучения нейронной сети - настроить «вес связи» между нейронами и порог каждого функционального нейрона в соответствии с данными обучения.
3. Алгоритм обратного распространения ошибки
Алгоритм BP - основан на стратегии градиентного спуска
Цель — свести к минимуму кумулятивную ошибку в тренировочном наборе.
Процесс: Пример ввода - нейроны входного слоя, передача сигнала послойно - блок вывода - в соответствии с ошибкой нейронов скрытого слоя - настройка весов соединения и порогов - итеративный цикл до достижения определенного условия остановки
Алгоритм обратного распространения кумулятивной ошибки
Накопительная минимизация ошибок — минимизация непосредственно кумулятивной ошибки
4. Глобальный и локальный минимумы
Нейронная сеть — оптимизация параметров Локальные минимумы - нулевой градиент