17 октября состоялась конференция «От AlphaGo к мозгоподобному чипу Тяньцзи, куда движется искусственный интеллект», проведенная Форумом Spark Ассоциации науки и технологий Университета Цинхуа, Центром компьютерных исследований Университета Цинхуа и гипернейроном HyperAI в Мэнминвэй. Успешно проведено строительство Университета Цинхуа. На открытии круглого стола Дэн Лэй, первый доктор Университета Цинхуа, вдохновленный мозгом, подробно рассказал об истории своего сотрудничества с вычислениями, вдохновленными мозгом, интерпретируя вычисления, вдохновленные мозгом, с разных точек зрения и отвечая на вопросы студентов. интеллект имеет новое понимание.
Лей Дэн, первый доктор наук в области вычислений, основанных на мозге, из Университета Цинхуа и научный сотрудник Калифорнийского университета в Санта-Барбаре. На обложке журнала Nature от 1 августа со статьей«Гетерогенная архитектура чипа Tianjic для общего искусственного интеллекта», который, как первый автор, отвечал за дизайн чипа и детали алгоритма.
В прошлый четверг Форум Spark Ассоциации науки и технологий Университета Цинхуа совместно с Исследовательским центром мозгоподобных вычислений Университета Цинхуа и гипернейроном HyperAI провел тематический форум на тему «От AlphaGo к мозгоподобному чипу Тяньцзи, где идет искусственный интеллект». Дэн Лэй был приглашен в качестве специального гостя и поделился некоторыми своими взглядами в форме круглого стола. В этой статье мы будем следить за вопросами форума и рассмотрим некоторые из его идей в области искусственного интеллекта и вычислений, подобных мозгу.
Обучение и исследование: первая докторская степень в Центре вычислений, вдохновленных мозгом
Вопрос: Как вы пришли к исследовательскому направлению мозгоподобных вычислений? Что именно включает в себя эта тема?Когда я был аспирантом в области вычислений, вдохновленных мозгом, вычисления, вдохновленные мозгом, еще не были широко распространены Я искал их в то время, но не нашел много эффективной информации, а затем специально спросил своего научного руководителя...
Будучи первым доктором наук Центра компьютерных исследований, вдохновленных мозгом, я был свидетелем того, как Центр, вдохновленный мозгом, прошел путь от нуля до настоящего времени.В том числе позже открыть компанию и заняться исследованиями. После 2017 года я закончил учебу и уехал в США, после чего перешел на компьютерное направление. Сейчас 50% занимается теорией, а 50% занимается чипами.
Я был механиком на первом курсе. Позже я обнаружил, что у меня нет большого таланта к машинам, поэтому я постепенно переключился на изготовление инструментов. Позже я также работал над роботами, изучал некоторые материалы и микроэлектронику, а затем начал работать на некоторых алгоритмах и теориях искусственного интеллекта.После получения чипа он медленно вошел в мозгоподобные вычисления.Вероятно, это такой процесс, чтобы продолжать идти и учиться на этом пути.
Примечание. В сентябре 2014 года был создан Центр компьютерных исследований, основанных на мозге, Университета Цинхуа, который включает в себя базовую теорию, чипы, основанные на мозге, программное обеспечение, системы и приложения. Центр образован объединением 7 факультетов и отделений Университета Цинхуа, объединяющих дисциплины науки о мозге, электроники, микроэлектроники, компьютеров, автоматизации, материалов и точных инструментов.
Исследования мозгоподобных вычислений включают интеграцию нескольких дисциплин.Источник, безусловноМедицина (наука о мозге), нынешний искусственный интеллект изначально родился из психологии и медицины, и они обеспечивают некоторую основу для модели.
Далеемашинное обучение, они обязательно сойдутся в будущем, но сейчас они разделены, потому что машинное обучение имеет больше опыта в создании продуктов, обычно думая с точки зрения применения.
Помимо этого естьИнформатика, Сейчас есть проблемы, которые GPU не могут решить, поэтому Alibaba и Huawei начали делать свои собственные выделенные чипы, и студенты направления вычислительной архитектуры также могут рассмотреть возможность развития в этом направлении.
дальше внизЧип и другое оборудование, Это включает в себя микроэлектронику и даже материалы.Поскольку должны быть предоставлены некоторые новые устройства, некоторые очень простые ячейки памяти все еще используются, но в будущем определенно будут некоторые новые устройства, например, можно ли использовать углеродные нанотрубки, графен и другие материалы. применяется Заходи.
а такжеНаправление автоматизации, Многие люди, которые занимаются машинным обучением, обычно работают в компьютерном отделе и отделе автоматизации, потому что автоматизация должна выполнять контроль и оптимизацию, что похоже на машинное обучение. В мозгоподобных вычислениях эти дисциплины хорошо интегрированы.
Вопрос: Какой драйв или какая возможность в итоге выбрали это направление?
В одном предложенииСамая большая прелесть этого направления в том, что это невозможно сделать.
Однажды я подумал о философском парадоксе: изучение мозгоподобных вычислений неотделимо от человеческого мозга, но если мы используем человеческий мозг, чтобы думать о человеческом мозге, я не знаю, как далеко это зайдет, и исследования на этом никогда не закончится. Поскольку люди думают о себе, они всегда будут существовать, они всегда будут испытывать кульминацию, затем вступят в период уныния, и вдруг произойдет прорыв, и он никогда не остановится. Стоит посмотреть с этого ракурса.
Вопрос: Каковы отличия в ваших исследованиях на постдокторской стадии, на которой вы сейчас находитесь?
Раньше, когда я делал чипы в Университете Цинхуа, это было больше с практической точки зрения, я думал, что смогу сделать устройство или инструмент. Но после того, как я уехал в США, я рассматривал этот вопрос больше с дисциплинарной точки зрения, как и вычислительная архитектура компьютерных специальностей, как и многие премии Тьюринга в ACM, все они смотрели на проблему с этой стороны, хотя и занимались то же самое, угол мышления другой.
С точки зрения вычислительной архитектуры,Любой чип — это не что иное, как вычислительная единица, единица хранения и связь в этих трех аспектах.Как бы вы это ни делали, это категория этих трех вещей.
Тяньцзи и мозгоподобные вычисления: дело не в велосипедах
Вопрос: Эта статья журнала Nature — знаковое событие. Как вы думаете, какие вехи произошли за последние несколько десятилетий? Какие еще события в области мозгоподобных вычислений способствовали развитию отрасли?
Область мозгоподобных вычислений относительно сложна, и она будет более очевидной, если я разберу ее в контексте искусственного интеллекта. Искусственный интеллект — это не единая дисциплина, его можно условно разделить на четыре направления.
Первое — алгоритмы, второе — данные, третье — вычислительная мощность, последнее — средства программирования.Основные события можно рассматривать с этих четырех направлений.
С точки зрения алгоритмов, конечно, это глубокая нейронная сеть, что не вызывает сомнений, с точки зрения данных ImagNet — это веха, без благословения больших данных раньше глубокая нейронная сеть была почти похоронена. С точки зрения вычислительной мощности, GPU — это отличное рождение. Инструменты для программирования, вездесущие приложения, такие как TensorFlow от Google, являются важным фактором, стимулирующим развитие.
Эти вещи способствуют развитию ИИ, и это итеративный процесс развития, и без одного из них мы не были бы там, где мы есть сегодня. Но у ИИ тоже есть свои ограничения, такие как AlphaGo, он может выполнять только одну задачу, и кроме шахмат он не умеет хорошо. Это не то же самое, что мозг.
Второе — интерпретируемость, мы используем глубокие нейронные сети для подгонки, в том числе и для обучения с подкреплением, но что происходит внутри них, до сих пор неясно, и некоторые люди пытаются визуализировать этот процесс или выяснить его принцип.
Третье — надежность, ИИ не так стабилен, как люди. Например, автономное вождение, текущий ИИ используется только для помощи вождению, потому что не может гарантировать абсолютную безопасность. Из-за этих недостатков мы должны обратить внимание на развитие науки о мозге и ввести больше механизмов науки о мозге.На мой взгляд, самое срочное — сделать разведку более общей.
Что касается знаковых событий, то AlphaGo — одно из них. Потому что он привлек внимание общественности к ИИ и заставил всех обратить на него внимание, а обучение с подкреплением стало популярным только после этого. С точки зрения чипов, есть два типа чипов, основанных на алгоритмах, и чипы, вдохновленные биологическим мозгом.В разработке этих двух типов чипов есть две вехи.
Первая категория - это машинное обучение. Теперь глубокие нейронные сети рассчитываются на GPU, но GPU не являются наиболее эффективными. Группа компаний, таких как Cambrian, ищут альтернативы GPU. Это важное событие.
Другой тип не ограничивается машинным обучением, он заключается в том, чтобы найти модель с точки зрения мозга для создания специализированного чипа.В этом отношении IBM или Intel справляются лучше.
Причина, по которой микросхемы Tianji привлекают столько внимания, заключается в том, что соответствующие преимущества этих двух типов интегрированы в одну архитектуру.
Вопрос: Ваша команда выпустила тест Tianjic на велосипеде, можете ли вы подробно рассказать об этом аспекте?
Всех привлекают велосипеды в Интернете, но наша команда знает, что велосипеды не являются нашей целью, это просто демонстрационная платформа, потому что мы думали найти хорошую платформу, чтобы показать всем.
В демонстрации велосипеда есть визуальное, слуховое и управление движением, это идеальная платформа для выполнения этих функций через чип. В то время это рассматривалось с этой точки зрения, управление велосипедом не было сложным, мы просто хотели показать новую модель.
Будущее мозгоподобных вычислений: разрушение архитектуры фон Неймана
Вопрос: Как будущий искусственный интеллект или мозгоподобные вычисления соотносятся с существующей архитектурой фон Неймана? Будут ли они эволюционировать по форме человеческого мозга?
Это очень важный вопрос, в современной полупроводниковой отрасли есть базовая тенденция, в том числе премия Тьюринга в 2018 году, которая также присуждается исследователям, которые занимаются исследованиями в области вычислительной архитектуры. Есть два направления для улучшения производительности графических процессоров: первое — уменьшить размер транзисторов, то есть уменьшить их физически, следуя закону Мура. Но в последние два года все поняли, что закон Мура начал сбоить, и связанное с ним развитие становилось все медленнее и медленнее, и однажды оно не сможет быть маленьким.
Другое направление — создать вычислительную архитектуру и попытаться спроектировать структуру так, чтобы три части: вычислительная единица, единица хранения и связь работали с высокой эффективностью. Человеческий мозг удивителен.Благодаря накоплению знаний растет знание каждого поколения.Мы должны учиться на эволюции этих знаний.
В прошлом веке разработка процессоров общего назначения в основном следовала закону Мура, потому что в прошлом транзисторы могли становиться все меньше и меньше, а развитие вычислительной архитектуры в определенной степени было похоронено. Теперь, когда закон Мура заблокирован, а приложения, такие как ИИ, должны стремиться к высокой эффективности обработки, исследования вычислительной архитектуры получили новое внимание, и следующее десятилетие также станет золотым веком процессоров специального назначения.
Для исследований, вдохновленных мозгом, наиболее часто задаваемый вопрос: что могут сделать вычисления, вдохновленные мозгом?
Это очень фатальная проблема.Многие люди, занимающиеся искусственным интеллектом или наукой о мозге, сейчас не знают, какой механизм стоит за этим. Возьмем, к примеру, науку о мозге: есть три уровня, которые все еще относительно не связаны между собой.
Во-первых, как именно работают нервные клетки. Этот вопрос, многие ученые-медики или биологи все еще проводят сложные исследования и исследования.
Во-вторых, как связаны нервные клетки.В мозгу есть нервные клетки порядка 10 в 11-й степени.Как они связаны,это тоже сложно понять,и требует помощи оптики и физики.
Наконец, знание того, как они учатся, является самым сложным, но самым важным вопросом.
В каждом аспекте есть пробел, но трудности не должны быть причиной отказа от исследования.Если ты ничего не делаешь, у тебя вообще нет шансов. Делайте что-то на каждом уровне, и в конце всегда рождается что-то новое, а затем повторяется снова и снова.
Если нам придется ждать, пока наука о мозге не станет ясной, то будет слишком поздно, и другие определенно будут впереди.
Например, сделать ЦП не так просто, как все думают.Это не значит, что китайцы не умные, и то же самое верно и для двигателей.Всем принцип понятен, но сделать это хорошо не просто.Инженерная сложность и техническое накопление не происходит в одночасье.
Одна из причин заключается в том, что многие вещи имеют большую производственную цепочку, и если вы не сделаете этого в начале, вы потеряете много возможностей для проб и ошибок.Быстрых прорывов в этой области не будет, а только приземленные. Что касается будущего, нынешнего искусственного интеллекта, сильного искусственного интеллекта, искусственного интеллекта 2.0 и мозгоподобных вычислений, я думаю, что они закончат тем же самым, потому что все они происходят из мозга, но ориентация различна.
Вопрос: Некоторое время назад в другой статье в Nature исследователи нарисовали полную карту всех нейронов червя и всех 7000 связей между всеми нейронами.
Вопрос: Есть ли связь между этой работой и исследованием мозга? Можем ли мы использовать существующие технологии или ЦП фон Неймана для имитации работы нематод, и что мы можем ожидать в ближайшие 3-5 лет?
Я видел, что изучение структуры нематода, и оно оказывает большое влияние на подобные мозгу исследования. Фактически, текущая модель AI, будь то мозговая вычислительная или искусственная интеллект, ее структура соединения в основном получена из текущей иерархической глубокой нейронной сети, которая на самом деле очень мелкой.
Наш мозг — это не простая многоуровневая сеть, мозг больше похож на граф. Более того, связи между различными областями мозга очень сложны. Значение этого исследования состоит в том, чтобы заставить нас задуматься о том, можем ли мы извлечь уроки из этого метода связи.
До этого была точка зрения в структуре нейросети,Роль структуры связи фактически больше, чем удельный вес каждой связи, то есть смысл связи больше, чем смысл каждого параметра.
Причина, по которой сверточная нейронная сеть может быть лучше, чем предыдущая нейронная сеть, заключается в том, что ее структура соединения отличается, поэтому ее способность извлекать признаки будет сильнее, что также показывает, что структура соединения приведет к изменениям в результатах.
На самом деле добиться такого результата на традиционном процессоре довольно сложно. Самое типичное в архитектуре фон Неймана то, что для нее требуется очень специфический блок хранения и очень специфический вычислительный блок.
Но у нас нет таких четких границ в нашем мозгу.Хотя у нас есть гиппокамп, предназначенный для долговременной памяти, на уровне нейронной сети вы не знаете, какая группа клеток в мозге должна быть хранилищем, а какие только вычисления.
Мозг больше похож на хаотичную сеть, а вычисления и хранение неразличимы, поэтому с этой точки зрения сложно использовать для этого традиционные чипы или процессорные технологии.
Таким образом, мы должны разработать какие-то новые не фон Неймановские методы, подкрепленные новыми архитектурными методами, чтобы проводить исследования, подобные мозгу.
Например, Премия Тьюринга 2018 года объявила о том, что чипы в специальной области будут становиться все более популярными. То, что сейчас продвигает Nvidia, — это гетерогенная архитектура: в одной платформе есть различные небольшие IP-ядра чипа, которые могут быть похожи на область человеческого мозга.
Таким образом, это больше не похоже на то, что раньше ЦП мог решать все, и нет единого чипа, который мог бы решить все эффективно. В будущем он будет постепенно переходить к различным эффективным и специализированным технологиям разработки, что является текущей тенденцией.
В настоящее время все понимают науку о мозге или мозгоподобные вычисления не так тщательно, как искусственный интеллект.Существует очень важная причина, по которой инвесторы и отрасль не слишком вовлечены. Поэтому, будь то вычислительные мощности данных или инструменты, сделать это сложно. Вычисления, вдохновленные мозгом, находятся на такой ранней стадии, и я верю, что все станет намного яснее, когда все больше и больше университетов и компаний будут инвестировать в них.
Вопрос: Каковы различия между архитектурой мозгоподобного чипа и традиционной архитектурой фон Неймана?
Мозгоподобный чип можно разделить на мозгоподобный и вычислительный. С точки зрения мозгоподобности, это не только глубокая нейронная сеть в ИИ, но и сочетание некоторых расчетов науки о мозге.
С точки зрения архитектуры, в системе фон Неймана есть узкое место.Архитектура всей полупроводниковой промышленности на самом деле сталкивается с этой проблемой: емкость памяти становится все больше и больше, а ее скорость становится все медленнее и медленнее.Если вы хотите расширить масштаб и хотеть высокой скорости, невозможно. По сути, люди, разрабатывающие архитектуру, в основном исследуют и оптимизируют уровень хранения и способы сделать его быстрее.
В отличие от других архитектур, Tianji не использует память, которую нужно расширять.Чип Тяньцзи больше похож на мозг, что эквивалентно тому, что клетки связаны во множество небольших цепей, а маленькие цепи расширяются во множество сетей и, наконец, образуют функциональные области и системы.Это легко масштабируемая структура, не похожая на GPU.
Многоядерная децентрализованная архитектура Tianjic определяет, что ее можно легко расширить до крупной системы без ограничений стены хранения.Фактически, это не фон Неймановская архитектура, которая объединяет хранение и вычисления. Это самая большая разница между уровнем архитектуры и существующими процессорами.Впереди разница на уровне модели, которая в основном является разницей между этими двумя категориями.