Root компилирует и организует кубиты Produced | Публичный аккаунт QbitAI
Алгоритмы глубокого обучения уже справляются со многими задачами лучше, чем люди. Но эффективность их обучения очень низкая.
Что касается видеоигры, люди, вероятно, могут играть в нее днем.Алгоритм занимает сотни часов.
БытьБыть
DeepMind считает, что это может быть преимуществом способности человека к метаобучению.
Согласно новой статье, опубликованной вчера DeepMind в журнале Nature Neuroscience.Prefrontal cortex as a meta-reinforcement learning systemОн указал, что причина, по которой люди могут очень быстро осваивать новые вещи, может быть связана со способностью извлекать шаблоны из предыдущего опыта, способностью, называемой метаобучением.
Но основной механизм метаобучения долгое время оставался загадкой.
Чтобы изучить механизм мета-обучения, команда Deepmind Mintmind предпринимает круговую нейронную сеть к психологическому моделированию человека, от прошлого обучения и соблюдают абстрактное право, а затем интернализацию.
Результаты показали, что агент обучения, укрепляющий юань, может гибко переключаться между многозадачностью, что означает, что агент научился учиться.
Более того, команда DeepMind обнаружила, что большая часть обучения происходит в рекуррентных нейронных сетях.
это означаетДофамин не только так же прост, как усиление синапсов для усиления соответствующего поведения, но также играет координирующую роль в процессе метаобучения.(более важная роль).
Дофамин просто укрепляет синаптические связи в префронтальной коре, что, в свою очередь, усиливает определенное поведение. Но с фиксированными весами нейронная сеть по-прежнему работает одинаково во всех задачах. это означаетДофамин также передает и кодирует задачу и регулярную информацию.
Ошибка предсказания вознаграждения нейронной сети, сродни дофамину в нашем человеческом мозгу, является сигналом того, что производительность алгоритма на данных оптимизируется каждый раз, когда он запускается.
Дофамин может влиять на наше настроение, поведение, восприятие, боль и удовольствие и является очень важным нейротрансмиттером для процесса обучения.
Команда DeepMind использовала нейронные сети для воспроизведения шести экспериментов по неврологическому метаобучению, а затем сравнила результаты с экспериментами на животных.
Один из этих экспериментов возник в результате психологического эксперимента 1940-х годов, в ходе которого изучалась концепция метаобучения, названного экспериментом Харлоу.
БытьБыть
△Воспроизведение эксперимента Харлоу с помощью нейронных сетей
Первоначальный план эксперимента заключался в том, чтобы поместить два невидимых объекта перед группой обезьян, и обезьяны могли взять один из них и получить награду в виде еды. Затем случайным образом поменяйте положение предмета и позвольте обезьяне выбрать. Повторив это 6 раз, замените двумя новыми элементами. Правила вознаграждения те же, обезьяны выбирают одну из них, чтобы получить еду.
После обучения обезьяны узнали, что пищевая награда связана только с конкретным предметом, а не с тем, где этот предмет был помещен. Этот экспериментальный результат показывает, что обезьяны могут освоить основные правила задачи, другими словами, они могут научиться учиться.
Схема эксперимента для нейронных сетей аналогична: им показывают две картинки, которых они никогда раньше не видели, и награда привязана к картинке.
△Нейронная сеть DeepMind проводит эксперимент Харлоу
Команда DeepMind заявила в своем официальном блоге: «Люди должны обладать сильной способностью к обучению и овладевать законами изменчивых вещей. Невозможно полагаться только на синапсы для усиления этих долгосрочных и хронических изменений. Это означает, чтоДофамин, вероятно, обладает способностью абстрагировать модульную информацию."
Однако это не первый случай, когда ученые используют ИИ для моделирования человеческого мозга.
Университет Неймегена в Нидерландах использовал рекуррентную нейронную сеть для прогнозирования процесса обработки человеческим мозгом перцептивной информации, особенно визуальных стимулов. Но официальный блог DeepMind считает, что в целом эти результаты больше вдохновляют область машинного обучения и мало влияют на нейробиологию.
В прошлом году DeepMind смоделировал часть анатомии человеческого мозга, используя нейронные сети для имитации активности префронтальной коры и памяти в гиппокампе. Результатом является ИИ, который сильнее, чем в большинстве сетей. Недавно DeepMind сместила фокус своих исследований на рациональные механизмы, создав синтетическую нейронную сеть, которая может выполнять логические выводы и решать проблемы.
Авторы статьи говорят, что благодаря этому исследованию дофамина медицинское сообщество, наконец, может извлечь выгоду и вдохновиться исследованиями в области нейронных сетей.
Получение когнитивных идей от ИИ, которые могут вдохновить нейробиологическое сообщество, является ценным взаимным подпиткой между этими двумя дисциплинами. Есть надежда, что с углублением исследований ИИ мы лучше поймем механизм работы человеческого мозга и будем разрабатывать интеллектуальных агентов с более сильными способностями к обучению.
Наконец, адрес статьи прилагается: https://www.biorxiv.org/content/biorxiv/early/2018/04/06/295964.full.pdf