Нейронная сеть Хопфилда

Возрождение нейронных сетей в 1980-х годах приписывают физику Джону Хопфилду. В 1982 году Хопфилд предложил новую нейронную сеть, которая могла бы решать большой класс задач распознавания образов, а также могла давать приближенные решения класса задач комбинаторной оптимизации. Эта модель нейронной сети позже известна как нейронная сеть Хопфилда. Нейронная сеть Хопфилда — рекуррентная нейронная сеть, изобретенная Джоном Хопфилдом в 1982 году. Сеть Хопфилда — это нейронная сеть, которая сочетает в себе систему памяти и двоичную систему. Он гарантирует сходимость к локальному минимуму, но также может иметь место сходимость не к тому локальному минимуму, а не к глобальному минимуму. Сети Хопфилда также предоставляют модели, имитирующие человеческую память. Принцип сети Хопфилда основан на теореме устойчивости Ляпунова и теореме инвариантности Ла Саля. Основная теория сетей Хопфилда неясна для тех, кто плохо знаком с неконтролируемой областью сетей Хопфилда.Эта статья игнорирует сложную теорию и вместо этого использует примеры приложений, чтобы представить принцип работы нейронной сети Хопфилда.. Как только будет установлено общее понимание нейронной сети Хопфилда, будет дальновидно изучить ее теоретическую основу (книги и онлайн-блоги) и, наконец, полностью понять нейронную сеть Хопфилда и ее идеи.

1. Принцип сети Хопфилда

Наиболее типичным применением сети Хопфилда является реализацияПамять Леново: сохранить один или несколько шаблонов в сети и иметь возможность вызывать полные шаблоны с неполными (отсутствующими) входными данными.

Рассмотрим пример распознавания символов на рисунке ниже: задача состоит в том, чтобы извлечь символы из входного текста и преобразовать их в соответствующую форму ASCII. Теперь предположим, что вы случайно размазали введенный текст (как показано на правом изображении ниже), хотя он все еще больше похож на исходный текст, чем текст, соответствующий другим символам, похож на исходный символ (по крайней мере, наши человеческие глаза все еще могут видеть). Это была буква "Т" на первый взгляд из отсутствующего текста), но уничтоженный текст уже сильно отличался от оригинала. 在这里插入图片描述

Кратко расскажу о принципе работы сети Хопфилда: сеть Хопфилда эквивалентна системе с несколькими аттракторами. (Грубое определение аттрактора: состояние, которое падает рядом с аттрактором, будет притягиваться к состоянию, в котором находится аттрактор.) Мы рассматриваем состояние каждого аттрактора как прототип памяти, и предполагается, что разрушенный вход находится в непосредственной близости от прототипа памяти.Через сеть Хопфилда мы можем, наконец, вызвать соответствующий полный прототип через разрушенный вход.

在这里插入图片描述

2. Структура сети Хопфилда

Структура сети Хопфилда с тремя нейронами показана на рисунке ниже. каждый нейрон в сети $i$ со всеми остальными нейронами $j \neq i$ Между ними существует связь, а вес равен $\omega_{ij}$ , вес нейрона самому себе равен 0. надо $N$ Количество весов сети Хопфилда нейронов равно $N^2$ . Следовательно, вычислительная стоимость сети Хопфилда намного выше, чем у других искусственных нейронов того же размера. 在这里插入图片描述

Веса показанной выше сети Хопфилда можно нормализовать в виде матрицы $W$ :