Синьчжиюань отчет
Редакторский отдел New Wisdom
【Новый путеводитель по Чжиюань】ACM только что объявила победителей Премии Тьюринга 2018. Три гиганта глубокого обучения: Йошуа Бенжио, Джеффри Хинтон и Янн ЛеКун получили награду, а глубокое обучение удостоилось высшей награды. За присуждением «Большой тройки» стоит тяжелая дорога, пройденная холодной зимой.
Слава принадлежит глубокому обучению.
Сегодня была объявлена премия Тьюринга 2018. Три гиганта глубокого обучения: Йошуа Бенжио, Джеффри Хинтон и Янн ЛеКун получили приз, и все трое разделили приз в 1 миллион долларов.
Янн ЛеКун, Джеффри Хинтон, Йошуа Бенджио
-
Йошуа Бенжио (58 лет)профессор Монреальского университета и научный руководитель Квебекского института искусственного интеллекта;
-
Джеффри Хинтон (71)Он является вице-президентом Google и научным сотрудником, главным научным консультантом Исследовательского института искусственного интеллекта Vector и почетным профессором Университета Торонто;
-
Ян ЛеКун (55 лет)Он профессор Нью-Йоркского университета, вице-президент и главный научный сотрудник Facebook.
Трое победителей известны в отрасли как «Крестные отцы современного искусственного интеллекта» за разработку глубоких нейронных сетей, технологии, которая стала ключевой частью вычислительной науки, заложив основу для разработки и применения алгоритмов глубокого обучения.
В прошлом году «Теория глубокого изучения горькой зимы» стала частой, и три великих бога также неоднократно реагировали на «Горькую зиму». На самом деле у них троих уже были антитела к «Горькой зиме».В 1980-х Джеффри Хинтон и другие несколько лет сидели на скамейке запасных, пока в этом столетии снова не вспыхнул ИИ.
Мало того, что Джеффри Хинтон также предложил новую модель нейронной сети Capsule Network (капсульная сеть), пытаясь найти новый способ решения дефектов глубокого обучения, 71-летний мужчина пережил самую холодную зиму ИИ и определил следующей "зимы" не будет.
пережить холодную зимуПервые годы научных исследований Хинтона можно охарактеризовать как ухабистые.
Сначала он изучал физику и химию в Кембриджском университете, но уже через месяц перешел на архитектуру, в результате чего не выдержал всего один день на архитектурном факультете, перерегистрировал физику и физиологию, а позже обнаружил математика в физике.Это было слишком сложно, поэтому он снова обратился к философии, пройдя двухгодичный курс за один год.
Хотя это был всего лишь короткий год, это был очень полезный год, потому что у него выработалась очень сильная неприязнь к философии: «Я хочу знать, как работает мозг».
Чтобы понять, как работает мозг, Хинтон обратился к психологии, но обнаружил, что «психологи ничего не знают».
В 1973 году Хинтон поступил в аспирантуру Эдинбургского университета, где изучал искусственный интеллект под руководством Кристофера Лонге-Хиггинса. Но во время зимы 1970-х годов, когда искусственный интеллект наступил, как глубокое обучение, так и ИИ презирались академическим сообществом.
Christopher Longuet-Higgins
Кроме того, Кристофер — известный химик-теоретик и когнитивист, вырастивший лауреатов Нобелевской премии.Однако у Хинтона и его наставника разные идеи: наставник придерживается традиционной логической концепции искусственного интеллекта, а Хинтон твердо верит, что на основе нейронов Теоретические аналоговые нейроны твердо верят, что нейронные сети должны стать будущим направлением развития.
«Моя выпускная карьера была полна ухабов, и каждую неделю мы ссорились.» Позже Хинтон вспоминал, что заключал «сделки» со своим наставником: «Позвольте мне заниматься нейронными сетями еще шесть месяцев, и я докажу им Это работает». Но по истечении шести месяцев Хинтон сказал: «Дайте мне еще шесть месяцев, а после этого: «Дайте мне еще пять лет».
Войдя в 1980-е, Хинтон действительно преуспел.
В 1986 году Хинтон и др. завершили знаменитую работу.Experiments on Learning by Back Propagation, демонстрируя, что обратное распространение в нейронных сетях может обеспечить «интересные» представления о распределении, предлагая новые способы влияния на будущие поколения искусственного интеллекта.
Однако в то время не было ни достаточного количества данных, ни достаточной вычислительной мощности, а нейронную сеть нельзя было обучить в больших масштабах, а промышленность все еще не интересовалась нейронной сетью Хинтона. Когда Хинтон посещал академические конференции, он часто сидел в дальнем углу комнаты и в то время не привлекал внимания громких имен в академических кругах.
Рождение большой тройки глубокого обученияК счастью, есть группа «упертых», таких как Хинтон.
Янн Лекун учится в докторантуре Хинтона и твердо верит в нейронные сети. В 1989 году Янн ЛеКун провел первую практическую демонстрацию обратного распространения ошибки в Bell Labs.
играть в
В 1993 году Янн ЛеКун продемонстрировал распознавание рукописного ввода на компьютере.
Он объединил сверточные нейронные сети с обратным распространением для чтения «рукописных» чисел, которые позже были применены в больших масштабах и обработали распознавание от 10% до 20% чеков в Соединенных Штатах в конце 1990-х годов.
Янн ЛеКун — руководитель группы в Bell Labs, среди членов его команды — Бенжио, еще один великий бог современности или премия Тьюринга.
Хотя Бенжио не является прямым учеником Хинтона, он также считается тремя знаменосцами, которые продвигают волну глубокого обучения вместе с Хинтоном и Лекуном, Он был пионером языковой модели нейронной сети.
Слева направо: Лекун, Хинтон, Бенжио, Нг Энда.
В 2012 году Джеффри Хинтон и двое его студентов опубликовали статью, в которой предлагалась модель глубокой сверточной нейронной сети AlexNet, которая в том же году выиграла чемпионат в крупномасштабном соревновании по распознаванию изображений ImageNet. Позже Хинтон присоединился к Google Brain, и AlexNet стала одной из самых классических моделей распознавания изображений и широко использовалась в отрасли, пока не началось глубокое обучение.
Что еще более памятно, так это то, что в 2015 году Джеффри Хинтон, Янн ЛеКун и Йошуа Бенджио, три гиганта глубокого обучения, совместно опубликовали обзорную статью под названием «Глубокое обучение» в журнале Nature, описывающую, как глубокое обучение принесло грядущие изменения в традиционное машинное обучение.
Еще в 2015 году на Жиху была проблема:Смогут ли Янн ЛеКун, Джеффри Хинтон или Йошуа Бенжио получить премию Тьюринга?
Адрес проблемы:
https://www.zhihu.com/question/33911668
В то время многие пользователи сети думали, что, хотя они втроем внесли большой вклад, им не удастся получить премию Тьюринга. Итак, сегодня они все побежали к проблеме и влепили себе пощечину.
Вице-президент JD.com Group, профессор Школы компьютерных наук Университета Саймона Фрейзера в Канаде, профессор кафедры статистики и актуарных наук, канадский профессор исследовательской кафедры первого класса, научный сотрудник ACM, научный сотрудник IEEE, профессор кафедры ACM SIGKDD Пей Цзянь рассказал Xinzhiyuan, что в этом году Премия Тьюринга была присуждена Хинтону, ЛеКуну и Бенжио — трем пионерам, приверженцам и евангелистам глубокого обучения.
«Три или четыре года назад многие люди предсказывали (или ожидали), что мистер Хинтон и глубокое обучение получат награду. Польза глубокого обучения для нашей повседневной жизни беспрецедентна. награды, другие, вероятно, были слишком смущены, чтобы получить эту награду, может быть, не слишком. Я считаю, что глубокое обучение стало основным элементом вычислений».
Пэй Цзянь сказал, что рассказы об этих трех великих богах и всевозможные кружевные новости получили широкое распространение, и нет нужды их повторять. У меня есть три мысли, которые стоит изучить самому и поделиться ими с коллегами:
Во-первых, эти трое уже давно внимательны, и они настоящие ученые. Особенно г-н Хинтон, который внес выдающийся вклад в эту область взлетов и падений с начала 1980-х годов.Более 30 лет он сконцентрировался на одном направленииНе отвлекайтесь, не приписывайте себе высокомерие и не будьте хорошим учителем из-за прошлых достижений. Этот строгий академический дух очень достоин изучения для нашего молодого поколения. Лично я считаю, что ACM является строгим и строгим в своем академическом качестве, от премии Тьюринга до Small Fellow.
Во-вторых, хотя все трое пришли из академических кругов, чтобы продвигать применение глубокого обучения, они в разной степени блуждали в промышленном мире. Их важный вклад в отрасль заключается не только в решении ряда практических задач с помощью методов глубокого обучения, но, что более важно, в продвижении принципов и методов научных исследований в промышленных исследованиях и разработках.
Такое сочетание производства, образования и исследований в области научной методологии взрастило большое количество новых молодых талантов, которые имеют не только прочную академическую основу и исследовательские методы, но также широкое промышленное видение и практическое проблемное мышление. Можно сказать, что влияние глубокого обучения не только ограничивается технологиями, но также включаетИнновации в сотрудничестве научных кругов и промышленности и в будущем обучения талантов. (Для рекламы: я организовал дискуссию на конференции IEEE ICDE 2019 в Макао 10 апреля и пригласил известных президентов университетов, выдающихся лидеров промышленных исследований и разработок и успешных инвесторов в новые технологические стартапы для обсуждения этого вопроса. Следите за обновлениями.)
Наконец, их награда иллюстрируетСреда, которая поощряет продолжение независимых исследованийОчень важно. В долгие дни, когда глубокое обучение не было очень популярным, Национальный исследовательский фонд Канады щедро поддержал непрерывные углубленные исследования группы исследователей глубоких нейронных сетей, представленных этими немногими, благодаря чему эта огненная искра наконец превратилась в прерию. . Я сама много лет училась и работала в Канаде, и мне очень нравится такая ровная и мягкая исследовательская среда, которая может заставить ученых думать спокойно. Несмотря на популярность глубокого обучения, канадская академия также придерживается более рационального подхода. Бенжио настолько известен, что получил звание Королевского канадского академика только в 2017 году.
Президент ACM Черри М. Панкейк заявил, что развитие искусственного интеллекта и интерес к нему во многом связаны с недавними достижениями в области глубокого обучения, основу которых заложили Бенжио, Бенжио и ЛеКун. Этими технологиями пользуются миллиарды людей. Любой, у кого есть смартфон в кармане, может ощутить прогресс в обработке естественного языка и компьютерном зрении, который был невозможен 10 лет назад. В дополнение к продуктам, которые мы используем каждый день, новые достижения в области глубокого обучения предоставляют новые мощные инструменты для ученых в области медицины, астрономии, материаловедения и многого другого».
«Глубокие нейронные сети внесли свой вклад в некоторые важные достижения современной компьютерной науки, помогая добиться существенного прогресса в решении давних проблем в таких областях, как компьютерное зрение, распознавание речи и понимание естественного языка», — старший научный сотрудник Google, старший ассоциированный президент Google AI. Джефф Дин сказал: «В основе этого прогресса лежит фундаментальная технология, разработанная более 30 лет назад лауреатами премии Тьюринга в этом году Йошуа Бенжио, Джеффри Хинтоном и Яном Лекуном. сети не только изменили область вычислений, но и изменили почти все области науки и человеческой деятельности».
Частое глубокое обучение «Теория горькой зимы»С прошлого года о глубоком обучении"холодная зима» и «главные» аргументы появляются часто, и многие люди думают, что глубокое обучение, похоже, столкнулось с узким местом, требующим особенно больших и глубоких сетей и большого объема обучения данных.
В связи с этим несколько богов глубокого обучения, удостоенных премии Тьюринга, неоднократно откликались на «теорию горькой зимы».
LeCun:
ЛеКун однажды прямо сказал, что автору зимней теории глубокого обучения не хватает здравого смысла, а взгляды статьи очень неосведомлены (очень неосведомлены).
Хинтон:
Хинтон считает, что зимы с искусственным интеллектом не будет, потому что ИИ уже управляет мобильными телефонами. В прошлые зимы ИИ не был частью повседневной жизни людей, а теперь стал.
Что более ценно, так это то, что великий бог Хинтон боролся на переднем крае глубокого обучения.
В 2017 году Хинтон и двое его коллег из Google Brain опубликовали «Динамическую маршрутизацию между капсулами», предложив новую модель нейросети Capsule Network (капсульная сеть), которая добилась лучшей производительности, чем традиционные сверточные нейронные сети на конкретных задачах.Эффект.
Хинтон считает, что сеть Capsule в конечном итоге выйдет за рамки видения и будет распространена на более широкий спектр сценариев приложений.Хотя у многих людей все еще есть сомнения, он уверен, что это точно так же, как многие люди сомневались в нейронных сетях 5 лет назад.
«История повторится».
Всестороннее понимание трех гигантов глубокого обученияНиже приводится официальное представление трех великих богов от ACM.Если читатели знакомы с ними, они могут пропустить эту часть.
Geoffrey Hinton
Джеффри Хинтон — вице-президент Google и научный сотрудник, главный научный консультант Vector Institute и почетный профессор Университета Торонто. Хинтон имеет степень бакалавра экспериментальной психологии Кембриджского университета и докторскую степень в области искусственного интеллекта Эдинбургского университета. Он был директором-основателем программы нейронных вычислений и адаптивного восприятия CIFAR (позже «Машинное и мозговое обучение»).
Хинтон был удостоен высшей награды в Канаде, член Королевского общества Соединенного Королевства, иностранный академик Национальной инженерной академии, Премия Международной объединенной конференции по искусственному интеллекту (IJCAI) за выдающиеся достижения в области исследований, Золотая медаль Герцберга NSERC. и Золотая медаль Джеймса Клерка Максвелла IEEE. Он также был выбран журналом Wired Magazine как один из «100 самых влиятельных людей 2016 года» и Bloomberg в 2017 году как один из «50 человек, изменивших глобальный бизнес-ландшафт».
Yann LeCun
Янн ЛеКун — серебряный профессор Института математических наук Куранта при Нью-Йоркском университете, а также вице-президент и главный научный сотрудник по искусственному интеллекту в Facebook. Он имеет степень бакалавра английского языка Института электронных технологий и электроники (ESIEE), Великобритания, и степень доктора компьютерных наук Университета Марии Кюри-Пьер.
ЛеКун является членом Национальной инженерной академии, почетным доктором IPN Mexico и Федеральной политехнической школы Лозанны (EPFL), лауреатом премии Пендера Пенсильванского университета, обладателем медали Холста Технического университета Эйндховена и компании Philips. Labs и Shannon Luminary от Nokia-Bell Labs Award, награды IEEE PAMI Distinguished Researcher Award и премии IEEE Neural Network Pioneer Award.
Он был выбран журналом Wired одним из «100 самых влиятельных людей 2016 года» и одним из «25 гениев, создающих будущее бизнеса». ЛеКун является директором-основателем Центра науки о данных Нью-Йоркского университета и директором программы CIFAR Learning Machines and Brainpower (сопредседателем которой является Йошуа Бенджио). Кроме того, ЛеКун является соучредителем и бывшим членом AI Partnership Council, консорциума предприятий и некоммерческих организаций, изучающих социальные последствия ИИ.
Yoshua Bengio
Йошуа Бенжио — профессор Университета Монреаля и научный руководитель Квебекского института искусственного интеллекта и IVADO (Институт экспериментов с данными). Он является содиректором программы CIFAR Machine and Brain Learning (содиректор вместе с Яном ЛеКуном). Бенжио имеет степень бакалавра в области электротехники, магистра и доктора компьютерных наук Университета Макгилла.
Бенжио является лауреатом Ордена Канады, членом Королевского общества Канады и премии Мари-Викторин. Его основание и работа в качестве научного директора Квебекского института искусственного интеллекта (Мила) также считаются значительным вкладом в область искусственного интеллекта. Mila, независимая некоммерческая организация, в которую входят 300 исследователей и 35 преподавателей, в настоящее время является крупнейшим в мире академическим центром исследований в области глубокого обучения и превращает Монреаль в динамичную экосистему ИИ, где несколько крупных мировых компаний и стартапов в области ИИ создали здесь исследовательские лаборатории.
Достижения трех великих боговНаконец, я представляю основные технические достижения трех великих богов, получивших на этот раз премию Тьюринга, которые оказали огромное влияние на последующие исследования в области глубокого обучения и достойны памяти будущих поколений.
Geoffrey Hinton
Обратное распространение:
В 1986 году Хинтон стал соавтором статьи «Изучение внутренних представлений путем распространения ошибок» с Дэвидом Румельхартом и Рональдом Уильямсом, в которой Хинтон и др. доказали, что алгоритм обратного распространения позволяет нейронным сетям обнаруживать свои собственные внутренние представления данных. имеют потенциал для решения проблем, которые ранее считались неразрешимыми. Алгоритм обратного распространения сегодня стал стандартом для большинства нейронных сетей.
Машина Больцмана:
В 1983 году Хинтон вместе с Терренсом Сейновски изобрел машину Больцмана, одну из первых нейронных сетей, способных изучать внутреннее представление нейронов, которые не являются частью входа или выхода.
Улучшения сверточных нейронных сетей:
В 2012 году Хинтон работал со своими учениками Алексом Крижевским и Ильей Суцкевером над улучшением сверточных нейронных сетей с использованием выпрямленных линейных нейронов и регуляризации отсева. В знаменитом соревновании по распознаванию изображений ImageNet Хинтон и его студенты почти вдвое сократили количество ошибок при распознавании объектов, возможно, изменив поле компьютерного зрения.
Yoshua Bengio
Вероятностные модели последовательностей:
В 1990-х годах Бенжио объединил нейронные сети с вероятностными моделями последовательностей, такими как скрытые марковские модели. Эти идеи были включены в системы AT&T/NCR, используемые для чтения рукописных чеков, что стало кульминацией исследований нейронных сетей в 1990-х годах, а современные системы распознавания речи с глубоким обучением являются расширениями этих концепций.
Многомерное встраивание слов и механизм внимания:
В 2000 году Бенжио написал знаменательную статью «Нейронно-вероятностная языковая модель», в которой представил многомерные вложения слов как представления значений слов. Идея Бенжио оказала огромное и далеко идущее влияние на будущие задачи обработки естественного языка, включая языковой перевод, ответы на вопросы и разработку системы визуальных ответов на вопросы. Команда Бенжио также представила «механизм внимания», который привел к прорыву в исследованиях машинного перевода и стал ключевым компонентом последовательной обработки в глубоком обучении.
Генеративно-состязательная сеть (GAN):
С 2010 года генеративно-состязательные сети (GAN), разработанные Bengio совместно с Яном Гудфеллоу, произвели революцию в компьютерном зрении и компьютерной графике. Одним из убедительных применений GAN является то, что компьютеры на самом деле способны генерировать необработанные изображения, своего рода творчество, которое часто считается отличительной чертой человеческого интеллекта машины.
Yann LeCun
Сверточная нейронная сеть:
В 1980-х годах ЛеКун разработал сверточные нейронные сети, которые стали базовой моделью в области нейронных сетей. В конце 1980-х, работая в Университете Торонто и Bell Labs, ЛеКун впервые успешно обучил систему сверточной нейронной сети на изображениях рукописных цифр. Сегодня сверточные нейронные сети являются отраслевым стандартом в области компьютерного зрения, распознавания речи, синтеза речи, синтеза изображений и обработки естественного языка. Он использовался во многих областях, таких как автономное вождение, анализ медицинских изображений, голосовой помощник и фильтрация информации.
Улучшения алгоритма обратного распространения:
ЛеКун предложил раннюю версию алгоритма обратного распространения (backprop) и вкратце вывел его из вариационного принципа. Он предлагает два простых способа сократить время обучения, тем самым ускорив алгоритм обратного распространения ошибки.
Расширьте область исследования нейронной сети:
ЛеКун также расширил область исследований нейронных сетей, применяя нейронные сети в качестве вычислительной модели для более широкого круга задач. Многие из идей и концепций, которые он представил в своих ранних исследованиях, теперь являются фундаментальными концепциями в области ИИ. Например, в области распознавания изображений он изучал, как заставить нейронные сети изучать иерархические признаки — метод, который сейчас используется во многих повседневных задачах распознавания. Они также предлагают архитектуры глубокого обучения, которые могут манипулировать структурированными данными, такими как графические данные.
【Саммит технологий искусственного интеллекта Xinzhiyuan 2019 г. Замечательный обзор 】
27 марта 2019 года Xinzhiyuan воссоединила мощь ИИ и провела церемонию Нового года ИИ-2019 Xinzhiyuan AI Technology Summit в пекинском отеле Taifu. Саммит заканчивается "Интеллектуальное облако·Основной мир«В качестве темы сосредоточьтесь на разработке интеллектуальных облачных и ИИ-чипов и измените будущую модель мира ИИ.
В то же время Xinzhiyuan официально выпустит несколькоБелая книга ИИ, сосредоточив внимание на инновациях и деятельности производственной цепочки, комментируя влияние единорогов ИИ и помогая Китаю превзойти конкуренцию ИИ мирового уровня.
Основные моменты сцены:
iQIYI (весь день):
https://live.iqiyi.com/s/19rsj6q75j.html
Технология Toutiao (утро):
m.365yg.com/i6672243313506044680/
Toutiao Technology (вторая половина дня):
m.365yg.com/i6672570058826550030/