Новый Чжиюань оригинал
Авторы: Чжан Цянь, Цзинь Лэй, Дамин
【Новый путеводитель по Чжиюань】Почему премия Тьюринга не присуждена Юргену Шмидхуберу, отцу LSTM? Будучи индивидуалистом в индустрии ИИ, Шмидхубер вел словесную войну с тремя гигантами глубокого обучения и тут же столкнулся с автором GAN, что, можно сказать, оскорбило круг людей.
Забытый бог.
несколько дней тому назад,Лауреаты премии Тьюринга 2018 годаБыло объявлено, что лавры завоевали три гиганта глубокого обучения: Йошуа Бенжио, Джеффри Хинтон и Янн ЛеКун.
HLB (Hinton, LeCun, Bengio) заслужили премию Тьюринга, и как только об этом стало известно, компьютерный мир послал благословения.
Однако, помимо поздравлений, есть еще и множество пользователей сети.допрошенный: Почему премия Тьюринга не была присуждена Юргену Шмидхуберу, отцу LSTM? Он также большой человек в области глубокого обучения.
Почему именно Йошуа Бенжио, Джеффри Хинтон, Янн ЛеКун, а не Юрген Шмидхубер получили премию Тьюринга?
Йошуа Бенжио, Джеффри Хинтон и Янн ЛеКун получили премию Тьюринга (Нобелевскую премию в области вычислений) за то, что сделали глубокие нейронные сети важной частью вычислений. очень круто! А как же Юрген Шмидхубер?
Даже декан факультета искусственного интеллекта Нанкинского университетаПрофессор Чжоу ЧжихуаТакже опубликовано на Weibo, что LSTM является вкладом на уровне учебника.
Юрген Шмидхубер — содиректор Института искусственного интеллекта Dalle Molle в Швейцарии.Предложенный им в 1997 году LSTM сейчас широко используется в Google Translate, Apple Siri, Amazon Alex и других приложениях. Его можно назвать одним из самых коммерциализированных технологий в области глубокого обучения.
Юрген Шмидхубер
Помимо LSTM, Юрген Шмидхубер «гордится» моделью PM (минимизация предсказуемости), которую он предложил в 1992 году.
Почему "гордится" в кавычках?
Потому что он настаивает на том, что популярная GAN является вариантом PM. Разница между ними в том, что направление противоположно. По этой причине у Юргена Шмидхубера также была ожесточенная онлайн- и офлайн-конфронтация с Яном Гудфеллоу, автором GAN, и промышленность до сих пор помнит это новое.
Что касается трех гигантов глубокого обучения HLB, Юрген Шмидхубер также провел несколько раундов словесной войны.Он считает, что трое из HLB играют в своих кругах, и они не упоминают вклад других пионеров в этой области. глубокого обучения. После этого ЛеКун провел контратаку.
Юрген Шмидхубер не получил приз из-за своего вспыльчивого характера, потому что он оскорблял людей?
Отец LSTM против отца GANИстория должна начаться пять лет назад.
В 2014 году на конференцию NIPS была представлена первая статья Яна Гудфеллоу по GAN. Из трех рецензентов двое прошли, а один погиб.
Рецензентом, отклонившим рукопись, был Юрген Шмидхубер.
Почему Юрген Шмидхубер дал Гудфеллоу такой диаметрально противоположный отзыв?
Оказывается, Юрген Шмидхубер считает, что GAN нельзя назвать первой состязательной сетью, а модель PM он сам предложил в 1992 году.
В своем обзоре для Goodfellow Юрген Шмидхубер прямо спросил Goodfellow: GAN и PM во многом похожи. Оба метода используют «состязательные» MLP для оценки определенных вероятностей и изучения распределений кодирования. Разница в том, что новая система учится генерировать нетривиальные распределения из статистически независимых случайных входных данных, тогда как старая PM учится генерировать статистически независимые случайные выходные данные в ответ на нетривиальные распределения (кодирование распределений путем извлечения взаимно независимых факторов).
Так ГАН по сути меняет направление ПМ - это главное отличие? Должны ли GAN называться «обратным PM»?
В конце концов, в отчаянии Гудфеллоу пришлось добавить сравнение различий между GAN и PM в финальную версию статьи, что привело к рождению первой статьи GAN.
Однако Юрген Шмидхубер по-прежнему сопротивлялся и несколько раз в частном порядке спорил с Гудфеллоу по электронной почте.
Самое ужасное случилось в 2016 году.
В то время GAN был уже хорошо известен в академическом мире.На конференции NIPS 2016 у Гудфеллоу был туториал на сцене.Когда он говорил о сравнении GAN с другими моделями, его прервал вопрос из аудитории .
Эта аудитория — Юрген Шмидхубер.
Юрген Шмидхубер расспрашивает Гудфеллоу
Вопрос Юргена Шмидхубера очень длинный, минуты две, основное содержание - подчеркнуть, что он уже предлагал ПМ в 1992 году, а потом рассказывал о многих его принципах, процессе реализации и т.д., и в итоге видим картину: вы Подскажите, есть ли сходство между вашим ГАНом и моим ПМ?
Гудфеллоу не выказывает слабости: мы уже неоднократно обменивались вопросом, который вы упомянули в электронном письме, и я уже ответил вам публично, и я не хочу тратить терпение аудитории по нынешнему поводу. (аплодисменты)
играть в
Ян Гудфеллоу отвечает Юргену Шмидхуберу на NIPS 2016
Пожилой мужчина лет пятидесяти пытался раздавить молодого человека лет тридцати, но был убит молодым человеком.Сцена какое-то время была очень постыдной.
Позже Гудфеллоу сообщил на Quora Shanghai, что он связался со спонсором NIPS и спросил Юргена Шмидхубера, есть ли способ подать на него жалобу, и комитет представителей NIPS решит, была ли статья Гудфеллоу несправедливой. Но организаторы говорят, что такого процесса нет.
Кроме того, Юрген Шмидхубер также предложил вместе с Гудфеллоу написать статью, описывающую сходства и различия между PM и GAN, но только в том случае, если они действительно смогут прийти к соглашению. Сейчас это кажется маловероятным.
Большая тройка глубокого обученияЯн Гудфеллоу - любимый протеже Бенжио, и до Гудфеллоу у Юргена Шмидхубера была словесная война с учителем Гудфеллоу Бенжио и трио HLB.
В мае 2015 года Бенжио, Хинтон и ЛеКун, три великих бога, совместно опубликовали обзор о природе, и название было прямо названо «Глубокое обучение». Этот документ начинается с традиционных методов машинного обучения, обобщает основные архитектуры и методы современного машинного обучения, описывает алгоритм обратного распространения для обучения многоуровневых сетевых архитектур, а также рождение сверточных нейронных сетей, распределенное представление и языковую обработку. как рекуррентные нейронные сети и их приложения и т. д.
Эту статью можно назвать классикой в области глубокого обучения, по статистике Google Scholar количество цитирований статьи приближается к 14 000.
Судя по стилю написания и содержанию этой статьи, немалая часть содержания — это эпохальные достижения, на которых трое авторов сделали себе имя, и обещает узнать смысл «пересматривать историю и предвкушать будущее». будущее» в глубину. Высокомерие не остановить.
Но менее чем через месяц после того, как статья была опубликована в Nature, он опубликовал в своем блоге критику статьи.
Шмидхубер сказал в статье, что эта статья вызвала у него очень дискомфорт, потому что в полном тексте много раз цитировались собственные результаты исследований трех авторов и не упоминался более ранний вклад других пионеров в глубокое обучение, таких как:
-
Три автора, похоже, называют себя пионерами ИИ, а в справочной информацииНет упоминания об Алексее Григорьевиче Ивахненко, отце глубокого обучения., который опубликовал первую статью об общих алгоритмах глубокого обучения для глубоких сетей еще в 1965 году. В статье 1971 года была предложена 8-слойная глубокая нейронная сеть.
-
В статье упоминается обратное распространение (BP), ноСсылаясь на собственные документы, не говоря уже о работе изобретателей и первых пионеров обратного распространения ошибки. Фактически, самые ранние модели обратного распространения появились в 1960-х и 1970-х годах.
-
Что касается нейронных сетей с прямой связью, в обзоре говорится, что усилия исследователей в лаборатории CIFAR в 2006 году привели к возрождению FNN, что снова является хвастовством и вводит в заблуждение. На самом деле исследователи использовали Ивахненко десятилетиями.
-
В статье по-прежнему цитируется собственное исследование автора, когда речь идет о неконтролируемом предварительном обучении FNN, но не упоминаетсяНеконтролируемая предобучающая RNN, предложенная самим Шмидхубером еще в 1992-1993 гг., но он тогда не назывался РНН, но принципы и идеи были те же.
-
Когда дело доходит до глубокого влияния неконтролируемого обучения на ренессанс глубокого обучения, цитируются только сами авторы.
-
Точно так же в разделе «Сверточная нейронная сеть» в статье упоминается «объединение», но не упоминаются пионеры, предложившие методы максимального объединения и т. Д.
Короче говоря, в статье Шмидхубера он считает, что «большая тройка» глубокого обучения, получившая в этом году премию Тьюринга, стала жадной до чужих достижений. Работа этой статьи действительно просто.
Более того, Шмидхубер также опубликовал замечания о том, что Хинтон, ЛеКун и другие известны тем, что за пропагандой стоят такие крупные компании, как Google и Facebook.
Позже ЛеКун написал в ответе по электронной почте: «Юрген слишком одержим признанием,Всегда говорите, что вы не получаете многого из того, что заслуживаете. Почти по привычке он всегда вставал в конце каждого выступления и говорил, что только что представленные результаты заслужили его доверие.Вообще говоря, такое поведение было неразумным. "
С этой точки зрения Шмидхубер и «Большая тройка» улажены.
Великий бог, забытый премией Тьюринга?В 1997 году Юрген Шмидхубер и Зепп Хохрайтер опубликовали статью оДокументы по рекуррентным нейронным сетям, — это знаменитая сеть с долговременной кратковременной памятью (LSTM).
В 2015 году LSTM использовался для новой реализации распознавания речи в программном обеспечении Google для смартфонов. Google также использует LSTM для своего умного помощника Allo и Google Translate. Позже Apple использовала LSTM в функции «Quicktype» iPhone и Siri. Amazon Alexa также использует LSTM. В 2017 году Facebook использовал сеть LSTM для примерно 4,5 миллиардов автоматических переводов в день, и можно сказать, что LSTM является одной из наиболее широко коммерциализируемых технологий искусственного интеллекта.
В дополнение к LSTM, в 2011 году Юрген Шмидхубер и его постдокторанты добились значительного ускорения CNN (Convolutional Neural Network) на GPU, и теперь этот метод сталЯдро области компьютерного зрения.
Когда в этом году была объявлена премия Тьюринга, многие люди считали, что Юрген Шмидхубер, предложивший LSTM, также должен быть награжден с точки зрения вклада.
Поздравляю всех троих, вполне заслуженно. Но исключение Юргена Шмидхубера, внесшего столь значительный вклад, было очень неожиданным и неправильным.
Вице-президент JD.com Group, профессор Школы компьютерных наук Университета Саймона Фрейзера, Канада, профессор Департамента статистики и актуарных наук, канадский профессор исследовательской кафедры первого класса, научный сотрудник ACM, научный сотрудник IEEE, профессор кафедры ACM SIGKDD Пей Цзянь сказал Xinzhiyuan: После объявления премии Тьюринга у людей часто возникают вопросы, кто также внес выдающийся вклад в это направление и эту область, даже больше, чем один из победителей, почему они не выиграли вместе? Дальше идут всевозможные логические рассуждения.
«Мое личное понимание состоит в том, что каждая премия Тьюринга присуждается отдельному человеку или команде, а не нескольким первопроходцам, которые относительно независимы в своей области». ) лицу, выбранному за вклад, «долговременную и важную техническую важность для компьютера поле'."
За всю историю премии Тьюринга многие ученые и группы, которые независимо друг от друга внесли выдающийся вклад в одну и ту же область, были последовательно награждены.Например, теория сложности вычислений и теория баз данных имеют много победителей.
Поэтому не беспокойтесь о том, чтобы наблюдать за официальными лицами, и не смотрите Премию Тьюринга с менталитетом просмотра дворцовой драмы.
Создатель OpenCV и ученый в области искусственного интеллекта Гэри Брэдски однажды прокомментировал Шмидхубера: «Он проделал большую новаторскую работу, но не он сделал ее популярной. Это как викинги, которые первыми открыли Америку, но через века это Колумб».
Бог всегда одинУ Юргена Шмидхубера и HLB есть свои достижения, но у великих богов всегда есть что-то общее, то есть настойчивость.
Хинтон считал, что за нейронными сетями будущее в колледже, и придерживался этого в течение трех десятилетий.
Юрген Шмидхубер, родившийся в 1963 году, твердо верил, что общий искусственный интеллект будет реализован, когда ему будет 15 лет, когда Китай только реформируется и открывается.
Юрген Шмидхубер в детстве, с отцом слева
«Подростком я понял, что самое важное, что могут сделать люди, — это построить что-то, что учится быть умнее людей».
В молодости Юрген Шмидхубер сказал своему младшему брату, что люди могут перестроить мозг атом за атомом, заменив наши медленные нейроны медными проводами в качестве соединений.Воображение было очень смелым. Поначалу младший брат был категорически против того, чтобы искусственный мозг старшего брата мог имитировать человеческие эмоции и свободную волю. Но в конце концов «я понял, что он был прав».
После школы Шмидхубер начал изучать информатику и математику в 1981 году и служил в западногерманской армии в течение 15 месяцев. Во время службы в армии он проявил свой независимый характер. Он не любил, когда им командовали, особенно когда его просили что-то сделать. мысль бесполезна.
Его онлайн-резюме тщательно составлено из его академического пути, включая такие вещи, как «Калифорнийский технологический институт отклонил его постдокторскую заявку», и до сих пор личная домашняя страница Шмидхубера также весьма своеобразна.
Поиски Шмидхубера в области общего искусственного интеллекта продолжались более 40 лет, и он также мечтал об утопии разумного машинного труда, поэтому в 1988 году он пожертвовал миллионы долларов на создание Института искусственного интеллекта Далле Молле в Швейцарии. Его партнерские отношения с местными университетами в сочетании с постоянным потоком государственного финансирования помогли превратить город в рай для искусственного интеллекта.
Общий ИИ возьмет верх и изменит вселеннуюАвтор книги «Железный человек из Силиконовой долины» в мае 2018 года написал очерк Юргена Шмидхубера под названием «Этот человек — крестный отец, которого кружок ИИ хочет забыть».
В статье упоминается, что за пределами большинства академических кругов Шмидхубер остается в значительной степени неизвестным. Главным образом потому, что его сверстники в академическом кругу не любили его, и многие сверстники отмечали, что он был эгоистичным, хитрым и причинял боль людям.
Поскольку Шмидхубер часто ругал исследователей в научных журналах и на конференциях, прерывая выступления других, чтобы попросить сверстников признать, что они заимствовали или даже украли его идеи, позже в отрасли был создан глагол «Шмидхуберед», который может использовать Шмидхубереда, на которого нападают другие.
Еще одна причина маргинализации Шмидхубера заключается в том, что его институт расположен в Альпах, вдали от крупных технологических компаний.
В 2013 году Шмидхубер также основал Nnaisense, стартап в Швейцарии с миссией создания общего искусственного интеллекта и влияния на DeepMind.
Ключевые члены компании Nnaisense
Соучредитель DeepMind Шейн Легг и один из первых сотрудников, Даан Вирстра, были учениками Шмидхубера, и некоторые из его докторов наук также присоединились к DeepMind.
Юрген Шмидхубер однажды сказал, что он решил с 15 лет создавать роботов, которые умнее людей, а затем уйти на пенсию, и придерживается этой точки зрения до сих пор.
Он считает, что скоро появятся самоосознающие или «сознательные машины». Эта точка зрения еще больше усугубила презрение его сверстников. И в связи с этим спором необходимо задать вопрос: является ли искусственный интеллект инженерной дисциплиной или это «божественное движение» по созданию новых сверхразумных существ?
Шмидхубер твердо стоит на позиции создания богов.Он считает, что базовые концепции этих технологий уже существуют, и что человеческое сознание не является магическим.Он считает, что сознание машин возникнет из более мощных компьютеров и алгоритмов, подобных тем он спроектировал Хорошие довольно близко.
За этой верой стоит его непоколебимая вера в то, что:Мы живем в компьютерной симуляции в стиле Матрицы..
«Когда я рос, я постоянно спрашивал себя, какое наибольшее влияние я могу оказать, — вспоминает д-р Шмидхубер, — и стало ясно, что этоЯ собираюсь сделать что-то умнее себя, а это существо сделает что-то умнее, и так далее, и в конце концов оно захватит и изменит всю вселенную, сделает всю вселенную разумной."
Сегодня он уже не смущается, появится ли такая машина, говоря, что скоро, пока идет большой скачок в вычислительной мощности.
Использованная литература:
https://www.bloomberg.com/news/features/2018-05-15/google-amazon-and-facebook-owe-j-rgen-schmidhuber-a-fortune
https://www.quora.com/Was-J%C3%BCrgen-Schmidhuber-right-when-he-claimed-credit-for-GANs-at-NIPS-2016
https://www.inverse.com/article/25521-juergen-schmidhuber-ai-consciousness
【Саммит технологий искусственного интеллекта Xinzhiyuan 2019 г. Замечательный обзор 】
27 марта 2019 года Xinzhiyuan воссоединила мощь ИИ и провела церемонию Нового года ИИ-2019 Xinzhiyuan AI Technology Summit в пекинском отеле Taifu. Саммит заканчивается "Интеллектуальное облако·Основной мир«В качестве темы сосредоточьтесь на разработке интеллектуальных облачных и ИИ-чипов и измените будущую модель мира ИИ.
В то же время Xinzhiyuan официально выпустит несколькоБелая книга ИИ, сосредоточив внимание на инновациях и деятельности производственной цепочки, комментируя влияние единорогов ИИ и помогая Китаю превзойти конкуренцию ИИ мирового уровня.
Основные моменты сцены:
iQIYI (весь день):
https://live.iqiyi.com/s/19rsj6q75j.html
Технология Toutiao (утро):
m.365yg.com/i6672243313506044680/
Toutiao Technology (вторая половина дня):
m.365yg.com/i6672570058826550030/