Пошаговый метод обучения

Введение

Эталонный образец искусственного интеллекта никогда не покидал человека. Способность к обучению на протяжении всей жизни и постепенному обучению является одной из самых важных способностей человека. Если роботы могут постепенно изучать окружающую среду и задачи, как люди, это делает возможным обучение на протяжении всей жизни для роботов. Важность идей поэтапного обучения проявляется в двух аспектах: (1)В реальных перцептивных данных количество данных имеет тенденцию к постепенному увеличению, поэтому при столкновении с новыми данными метод обучения должен быть в состоянии внести некоторые изменения в обученную систему, чтобы изучить знания, содержащиеся в новых данных;(2)Затраты времени на внесение изменений в обученную систему обычно ниже, чем затраты на переобучение системы.Идею инкрементного обучения можно описать так: всякий раз, когда добавляются новые данные, нет необходимости перестраивать все базы знаний, а обновляются только изменения, вызванные новыми данными, на основе исходной базы знаний. Мы обнаружили, что метод пошагового обучения больше соответствует принципам человеческого мышления. Существует множество платформ дополнительного обучения, и основным содержанием каждой структуры является метод оценки сходства между обработкой новых данных и сохраненными знаниями. Поскольку метод определяет способ восприятия новых знаний и увеличение базы знаний, он влияет на рост знаний. Механизм определения новых знаний является основным компонентом поэтапного обучения. Ниже приводится краткое введение в несколько распространенных фреймворков инкрементного обучения, включая самоорганизующиеся нейронные сети инкрементного обучения.SOINN, Эпизодическая память Марковский процесс принятия решенийEM-MDP.

классификация методов

1. SOINN

Самоорганизующаяся нейронная сеть добавочного обучения SOINN — это двухслойная нейронная сеть, основанная на конкурентном обучении. Инкрементальный характер SOINN позволяет обнаруживать новые закономерности, появляющиеся в потоке данных, и учиться на них, не влияя на результаты предыдущего обучения. Следовательно, SOINN можно использовать в качестве общего алгоритма обучения в различных задачах обучения без учителя. SOINN представляет собой конкурентоспособную нейронную сеть с двухслойной структурой (исключая входной слой), которая выполняет онлайн-кластеризацию и топологическое представление входных данных самоорганизующимся образом, а ее рабочий процесс показан на рисунке 1.

Сеть уровня 1 принимает ввод необработанных данных и адаптивно генерирует нейроны-прототипы для представления входных данных в режиме онлайн. Эти узлы и связи между ними отражают распределение исходных данных;
Второй уровень оценивает межклассовое расстояние и внутриклассовое расстояние исходных данных в соответствии с результатами сети первого уровня и использует это в качестве параметра для повторного запуска алгоритма SOINN с нейронами, сгенерированными первым слоем, как вклад в стабилизацию результатов обучения.

Как показано на рисунке 2: когда входные данные имеют несколько кластеров и присутствует шум, SOINN может генерировать надежные нейронные узлы для представления каждого кластера во входных данных; в то же время топология подграфа отражает распределение исходного данные пол. SOINN的两层竞争学习示意图人造数据集上的效果演示 Динамическая настройка является ключом для SOINN для достижения самоорганизации и постепенного обучения.Это позволяет динамически регулировать весовой вектор нейронов и топологию сети с поступлением входных шаблонов для оптимизации точности выражения входных данных. Кроме того, добавляя нейроны во времени, можно не только адаптивно определить количество нейронов, чтобы удовлетворить определенному ограничению ошибки квантования, но также можно адаптировать входные шаблоны, которые не были изучены ранее, без влияния на предыдущие результаты обучения. SOINN определяет операции вставки узла внутри класса и операции вставки узла между классами для достижения этих двух целей.

Операция вставки узла в классе в основном предназначена для адаптивного уменьшения ошибки квантования нейронов и максимально точного приближения к распределению исходных данных.В частности, SOINN будет записывать совокупную ошибку квантования каждого нейрона во время рабочего процесса.После обучения для фиксированный период времени, найти два узла с наибольшей кумулятивной ошибкой квантования среди всех узлов, а затем вставить новый узел между ними, чтобы обновить их кумулятивное значение ошибки квантования путем интерполяции.Учитывая, что не каждая вставка Все операции необходимы.Если есть ограничений нет, количество узлов будет продолжать увеличиваться по мере продвижения алгоритма.Поэтому SOINN будет определять, выполняется ли операция вставки после каждой операции вставки узла в классе.Значительно уменьшает ошибку квантования: если нет, отмените эту операцию вставки.
Вставка узла между классами происходит, когда новые входные данные сильно отличаются от ранее изученных данных.SOINN устанавливает параметр порога сходства для каждого нейрона i $T_i$ Чтобы определить, может ли новая выборка данных принадлежать к новой категории: если точка данных сильно отличается от ранее изученных нейронов, создается новый узел в позиции точки данных для представления этого возможного шаблона , Как показано на рисунке 3. , ξ — новая точка входных данных, SOINN сначала находит два наиболее похожих на нее нейрона $s_1$ и $s_2$ ,если $d(s_1,ξ)>T_(s_1 )$ или $d(s_2,ξ)>T_(s_2 )$ , считается, что разница точек данных ξ велика, среди них $д (∙)$ это функция меры подобия (обычно функция евклидова расстояния).Вновь сгенерированный узел не означает, что он должен в конечном итоге принадлежать новому кластеру, но при текущем пороге сходства входные данные относительно отличаются от ранее изученного шаблона.Большие различия По мере изучения все большего количества входных паттернов порог подобия и связи между нейронами постоянно меняются.

Можно видеть, что вставка узлов между классами является ключом к SOINN для достижения добавочного обучения, время вставки узлов оказывает большое влияние на конечный результат, а параметр порога сходства каждого узла $T$ снова является ключом к определению операции вставки. $T$ Если значение слишком мало, каждые данные будут рассматриваться как новый шаблон и будет сгенерирован узел; $T$ Если значение слишком велико, количество узлов будет слишком маленьким, ошибка квантования возрастет, а распределение данных не может быть точно отражено В идеале этот параметр должен быть больше среднего внутриклассового расстояния и меньше среднее межклассовое расстояние. SOINN использует адаптивный подход к проблеме с постоянными обновлениями $T_i$ Это значение позволяет адаптироваться к изменяющемуся режиму ввода. Предположение $N$ множество всех узлов, $N_i$ это набор узлов-соседей узла i. если $N_i$ непусто, то есть есть другие узлы, соединенные с ним ребром, поэтому пусть: $T_i=max_{j \in N_i}||W_i-W_j||$ в противном случае, $T_i=min_{j \in N \setminus {i}}||W_i-W_j||$ . Можно видеть, что эти два определения на самом деле являются текущими оценками максимального внутриклассового расстояния и минимального межклассового расстояния. Практическое применение показывает, что такой метод динамической настройки эффективен.

2. EM-MDP

Эпизодическая память Марковский процесс принятия решений EM-MDP представляет собой полный набор решений искусственного интеллекта (упрощенная версия), который включает в себя модели эпизодического познания, пошагового обучения, краткосрочной и долговременной памяти. Мы фокусируемся на дополнительной обучающей части фреймворка. Платформа реализует постепенное изучение последовательностей эпизодической памяти на основе идей теории адаптивного резонанса (ART) и разреженной распределенной памяти (SDM). SDM — это метод, предложенный в 1974 году ученым-компьютерщиком Пенти Канерва для хранения любого восприятия, которое имеет разум, в ограниченном механизме памяти. Таким образом, в процессе обучения одновременно могут активироваться несколько нейронов состояния, и каждый нейрон можно рассматривать как представитель сходного восприятия. По сравнению с сетью SOINN, которая может иметь не более одного выходного узла одновременно, этот метод имеет преимущество хорошей адаптируемости к среде. Построение модели обучения сети эпизодической памяти основано на структуре модели EM-MDP, которая состоит из входных данных восприятия (уровень O), меры сходства восприятия (уровень U), нейронов состояния (уровень S) и выходной эпизодической памяти (уровень E). слой) Модель показана на рисунке 3. И уровень U, и уровень S в структуре имеют возможность постепенного обучения.Структура уровня U и уровня S показана на рисунке 4. Количество узлов U-слоя равно размерности входного восприятия, а выход каждого узла совместно определяется тремя сигналами: (1) перцептивным входом текущей среды. $o_c$ ;(2) Сигнал управления $C1$ (3) Картирование восприятия нейронов выигрышного состояния, возвращаемых S-слоем. 3 情景网终学习结构模型 изображение 3 Выход U узла U-уровня. Три сигнала получены по принципу «Большинство голосов 2/3». когда $C1=1$ , когда сигнал восприятия отображения обратной связи равен 0, выход узла слоя U определяется входным восприятием, то есть $u=o_c$ . Когда сигнал восприятия отображения обратной связи не равен 0, $C1=0$ Когда , выход узла слоя U зависит от сравнения между входным восприятием и восприятием отображения обратной связи.Если мера подобия больше порогового значения, обучение вектора восприятия корректируется, в противном случае добавляется новое восприятие. $o_{m+1}=o_c$ . Слой S имеет m узлов для представления m нейронов состояний, а пространство нейронов состояний можно динамически увеличивать, добавляя новые узлы нейронов. Нейроны состояния имеют веса, которые представляют отношения связи эпизодической памяти. 网络U层与S层的结构。左：U层；右：S层。 Рисунок 4 Эпизодическая сеть принимает входные данные восприятия из окружающей среды и определяет, существуют ли уже новое восприятие и связанные с ним события в эпизодической памяти робота, проверяя степень соответствия между текущими входными данными восприятия и всеми сохраненными векторами восприятия. Мера подобия проверяется в соответствии с заранее установленным порогом активации, чтобы решить, как поступить с восприятием нового ввода. Каждый раз, когда сеть принимает новый сенсорный ввод, она должна пройти процесс сопоставления. Меры подобия существуют в двух случаях:

Сходство превышает установленный порог, смежный набор состояний выбирается в качестве репрезентативного набора нейронов состояния текущего восприятия входных данных. Восприятие корректируется путем обучения, так что оно может получить большее сходство, когда сталкивается с восприятием, которое близко к текущему входному восприятию, и вектор восприятия не вносит никакой корректировки в несмежный набор состояний.Он фактически перекодирует восприятие карт в эпизодической памяти, чтобы стабилизировать знакомые события, которые были изучены.
Сходство не превышает установленного порога, необходимо добавить нейрон состояния, представляющий новое входное восприятие в слое S, и сохранить текущее восприятие как сопоставление восприятия вновь добавленного состояния, чтобы участвовать в последующем процессе сопоставления. При этом веса, связанные с нейронами в этом состоянии, устанавливаются для хранения этого типа восприятия и участия в последующем процессе сопоставления.По сути, для незнакомых событий устанавливаются новые экспрессивные коды.

Суммировать

Судя по соответствующей литературе, SOINN используется относительно широко. Некоторые используются для постепенного построения дорожных карт окружающей среды, а некоторые используются для построения когнитивных карт с обработанной визуальной информацией в качестве входных данных. Тем не менее, соединение EM-MDP еще не эффективно отделило часть добавочного обучения, поэтому структура не очень ясна по сравнению с SOINN, предложенной в качестве отдельной структуры. Основным компонентом постепенного обучения является обработка новых и старых знаний, и чтобы определить, являются ли входные данные новыми знаниями, необходимо измерить «расстояние» между новыми входными данными и старыми знаниями. Фильтрация шума в сети знаний также является важной частью поддержания эффективной сети знаний. ** Наконец, стоит отметить, что порог оценки SOINN автоматически и динамически настраивается, в то время как порог в EM-MDP является предустановленным значением. **Конечно, всем нравится эффективная автоматическая настройка параметров.

END