- Оригинальный адрес:Differentiable Plasticity: A New Method for Learning to Learn
- Оригинальный автор:Uber Engineering
- Перевод с:Программа перевода самородков
- Постоянная ссылка на эту статью:GitHub.com/rare earth/gold-no…
- Переводчик:luochen
- Корректор:SergeyChang xxholly32
Нейронные сети, лежащие в основе системы машинного обучения Uber, доказали свою эффективность в решении сложных задач, включая распознавание изображений, понимание языка и теорию игр. Однако сеть обычноградиентный спускТренируйтесь до конечной точки и постоянно настраивайте сетевые подключения в зависимости от производительности сети в ходе нескольких испытаний. После завершения обучения сеть фиксируется и связи не меняются, поэтому, за исключением более позднего переобучения (которое опять-таки требует большого количества выборок), сеть фактически перестает обучаться в конце обучения.
Напротив, биологический мозг демонстрируетпластичность— то есть способность связей между нейронами непрерывно и автономно изменяться на протяжении всей жизни, позволяя животным быстро и эффективно учиться на постоянном опыте. Уровни пластичности в различных областях и соединениях мозга являются результатом миллионов лет эволюции, настроенной на эффективное обучение в течение всей жизни животного. Полученные в результате возможности непрерывного обучения позволяют животным адаптироваться к изменяющимся или непредсказуемым условиям с небольшими дополнительными данными. Мы можем быстро запоминать сценарии, которых раньше никогда не видели, или получать новые знания после нескольких проб в совершенно незнакомых ситуациях.
Чтобы предоставить нашим агентам ИИ схожие возможности, Uber AI Labs разработаланазываетсяДифференцируемая пластичностьновый методДавайте обучим поведение пластиковых соединений с помощью градиентного спуска, чтобы они могли помочь ранее обученным сетям адаптироваться к будущим средам. Хотя эволюция таких пластичных нейронных сетейОбласть долгосрочных исследований эволюционных вычислений. Насколько нам известно, представленная здесь работа является первой, показывающей, что сети пластичности можно оптимизировать с помощью градиентного спуска. Поскольку недавние крупные прорывы в области искусственного интеллекта основаны на градиентных методах (включаяИдентификация изображения,машинный переводиигра). Адаптация пластиковых сетей к обучению градиентному спуску может значительно расширить возможности обоих подходов.
Как работает дифференцируемая пластичность
В нашем методе каждая связь будет иметь начальные веса, в том числе коэффициенты, определяющие пластичность связи. Точнее, нейроны.iзначение активацииyiРасчет следующий:
Первое уравнение представляет собой функцию активации, типичную для блока нейронной сети, за исключением фиксированной составляющей (зеленый) и пластичной составляющей (красный) входных весов. пластиковый компонентHi,jчлены как функции входа и выхода могут обновляться автоматически (как указано во втором уравнении, возможны и другие формулы, вЭто эссеЕсть обсуждения. )
Во время начального обучения градиентный спуск корректирует структурные параметрыwi, jиαi,jЭто определяет величину неподвижных и пластичных компонентов. Таким образом, после начального обучения агент может автоматически учиться на постоянном опыте, поскольку пластический компонент каждой связи достаточно сформирован нейронной активностью для хранения информации, напоминающей некоторые формы обучения у животных, включая человека.
Продемонстрировать дифференцируемую пластичность
Чтобы продемонстрировать потенциал дифференцируемой пластичности, мы применяем ее к некоторым сложным задачам, требующим быстрого обучения на непредсказуемых стимулах.
В задаче реконструкции изображения (рис. 1) сеть хранит набор невиданных ранее естественных изображений, затем одно из этих изображений отображается, но половина из них стирается, и сеть должна восстановить недостающую половину по памяти. . Мы показываем, что дифференцируемая пластичность эффективно обучает большие сети с миллионами параметров для решения этой задачи. Важно отметить, что традиционные сети с непластичными соединениями (в т.ч.LSTMsтакие как современные рекуррентные структуры) не могут решить эту задачу, и требуется значительное количество времени, чтобы изучить ее сильно упрощенную версию.
Рисунок 1: Задача завершения изображения (каждая строка — это отдельный процесс реконструкции (эпизод)). После показа трех изображений сеть получает частичные изображения и должна восстановить недостающие части по памяти. Непластичные сети (включая LSTM) не могут решить эту задачу. исходное изображение изНабор данных CIFAR10
Мы также обучаем сеть пластичности для решенияОмниглот задачи(стандартная задача «научись учиться»). Это влечет за собой обучение распознаванию набора незнакомых рукописных символов из символов, нарисованных каждым человеком индивидуально. Кроме того, этот метод также может быть применен к задачам обучения с подкреплением: пластиковые сети превосходят непластичные сети в задачах исследования лабиринта, в которых агент должен обнаруживать, запоминать и неоднократно достигать мест вознаграждения в лабиринте (рис. 2). Таким образом, простая идея добавления коэффициентов пластичности к нейронным сетям обеспечивает действительно новый подход — а иногда и лучший подход — для решения широкого круга проблем, требующих постоянного обучения на основе постоянного опыта.
Рисунок 2: Задача исследования лабиринта. Агент (желтый квадрат) получает награду, достигнув как можно большего количества мест с наградами (зеленые квадраты) (агент перемещает награду в случайное место каждый раз, когда находит ее). При первом исследовании лабиринта (слева) поведение агента практически случайно. После 300 000 исследований (справа) агент научился запоминать местонахождение награды и автоматически находить путь к ней.
Перспектива
В самом деле, дифференцируемая пластичностьучиться учитьсяилиметаобучениеЭта классическая проблема предлагает новый биологический подход, просто используя градиентный спуск и фундаментальные строительные блоки (пластические соединения) различными мощными способами, которые также очень гибки, о чем свидетельствуют различные задачи, описанные выше.
Кроме того, он открывает двери для множества новых направлений исследований. Например, можем ли мы улучшить существующие сложные сетевые архитектуры, такие как LSTM, за счет пластичности соединений? Если пластичность связей контролируется самой сетью, то она оказывается аналогичнойнейромодуляторВоздействовать на биологический мозг? Обеспечивает ли пластичность более эффективную форму памяти, чем только рекуррентные сети (обратите внимание, что рекуррентные сети хранят входящую информацию в нейронной активности, тогда как пластичные сети хранят ее в большем количестве соединений)?
Мы намерены исследовать эти и другие волнующие вопросы в будущей работе над дифференцируемой пластичностью и надеемся, что другие присоединятся к нам в наших исследованиях. Чтобы стимулировать исследования этого нового подхода, мына GitHubОпубликовал код для вышеуказанного эксперимента, а такжеБумага с описанием нашего метода и результатов.
Чтобы получать будущие публикации в блоге Uber AI Lab, зарегистрируйтесь какнаш список рассылкиили вы можете подписатьсяКанал Uber AI Labs на YouTube. Если вы хотите присоединиться к Uber AI Labs, посетитеUber.aiОтправьте заявку на.
Подписывайтесь на нашу новостную рассылкуЧтобы быть в курсе последних инноваций в области инженерии Uber.
Программа перевода самородковэто сообщество, которое переводит высококачественные технические статьи из Интернета сНаггетсДелитесь статьями на английском языке на . Охват контентаAndroid,iOS,внешний интерфейс,задняя часть,блокчейн,продукт,дизайн,искусственный интеллектЕсли вы хотите видеть более качественные переводы, пожалуйста, продолжайте обращать вниманиеПрограмма перевода самородков,официальный Вейбо,Знай колонку.