Ся И Ли Гэн из храма Аофэй
Квантовое производство Публичный аккаунт QbitAI
БытьБыть
Что ты делаешь в 22 года?
За последние два дня нынешний глава Google AI, легендарный Джефф Дин, вновь обрел обожание и вызвал бурные обсуждения. Все из-за первого обнародования его дипломной работы.
В статье всего 8 страниц.
Но в 1990 году она стала лучшей студенческой диссертацией и до сих пор хранится в библиотеке Миннесотского университета.
В то же время эта статья показывает, что целых 28 лет назад Джефф Дин уже использовал язык C для написания кода параллельных вычислений для нейронных сетей.
Все, кто боготворил Джеффа Дина, снова закипели.
Старые газеты, новые горячие темы
Вероятно, очень молодой пользователь сети вздохнул на HackerNews, прочитав статью: «Невероятно, но Джефф Дин заинтересовался нейронными сетями в 1990 году.
Словом, привлекло много научно-популярных воспоминаний. Подводя итог, нейронная сеть была просто популярна в то время.
Кто-то вздохнул: «В то время нейронные сети были очень популярны, и они были очень популярны в конце 1980-х. Это было хорошее время».
В 1990 году, незадолго до второй зимы ИИ, в то время были популярны нейронные сети, Пролог, язык ЛИСП и нечеткая логика, ИНС не уступила SVM и т. д. Япония все еще была на грани догона США в области ИИ.
Джеффри Хинтон, отец нейронных сетей, который впоследствии стал коллегой Джеффа Дина (стажер ^_^), тоже опубликовал в то время много важных исследований, и появилось обратное распространение.
Два метода параллельного обучения, упомянутые в статье Джеффа Дина, основаны на обратном распространении.
Пользователь сети @silverlake сказал: «Я почти ровесник Дина. Мой студенческий проект заключался в улучшении нейронных сетей с помощью генетических алгоритмов. В то время был популярен искусственный интеллект, но вскоре пришла зима».
Начало 1990-х было очень интересным временем для нейронных сетей и машинного обучения. В то время появилось распознавание объектов, распознавание рукописного ввода и т.д., и все прогрессировал быстро, но вскоре средства были выведены, и проекты все оказались в беде.
«К счастью, с появлением графических процессоров и глубокого обратного распространения объем данных начал стремительно расти, и нейронные сети вернулись», — сказал пользователь сети @dekhn. Те, кто выстоял во вторую зиму ИИ, очевидно, получили должное вознаграждение.
БытьБыть
Помимо воспоминаний о прошлом, многие люди пришли к подобнымНе забывайте о первоначальном намерении, Фанг Дэ всегдавывод.
Например, проблема, изучаемая в дипломной работе Джеффа Дина, обвиняется в том, что она до сих пор остается одной из самых больших проблем TensorFlow.
"Действительно интересная и новаторская ранняя работа, и я думаю, что она также объясняет, почему TensorFlow не поддерживает параллелизм внутриуровневой модели. Удивительно, насколько ранний опыт повлиял на нас", — прокомментировал пользователь сети @scottlegrand2.
Оно делает. На самом деле, после окончания бакалавриата Джефф Дин не стал продолжать свои исследования в направлении ИИ. Затем его интерес переключился на написание компиляторов для объектно-ориентированных языков высокого уровня, где он получил докторскую степень.
«Однако ощущение того, что нейронные сети очень интересны, никогда не исчезало», поэтому позже Джефф Дин возглавил исследование нейронных сетей и искусственного интеллекта в Google и стал соучредителем проекта Google Brain вместе с Эндрю Нг и Грегом Коррадо. обвинение.
Некоторые люди отмечают, что Джефф Дин — ученый-компьютерщик с опытом оптимизации компилятора, а TensorFlow — это, по сути, попытка ускорить нейронные сети для решения задач, связанных с оптимизацией компилятора.
БытьБыть
Конечно, многие заметили,Эта превосходная дипломная работа занимает всего 8 страниц..
"Как всегда, Джефф Дин никогда не разочаровывает. Он решил ответственную проблему в молодом возрасте, получил отличные результаты и описал решение ясно и лаконично". тысячная часть стоимости этого».
Академическое учреждение заслуживает похвалы за то, что оно позволило написать такую краткую дипломную работу. Кто-то вспомнил собственный опыт в аспирантуре: почти каждый, кто редактировал мою диссертацию, хотел добавить кучу лабуды. Если вы попытаетесь описать это одним предложением, вас отвергнут. Для его наставника было здорово позволить ему и даже поощрять его общаться так эффективно и лаконично.
Итак, все начали задаваться вопросом, кто был его наставником...
Конечно есть ответы. Наставником дипломной работы Джеффа Дина является Випин Кумар.
Профессор Кумар по-прежнему преподает в Университете Миннесоты, исследуя интеллектуальный анализ данных, высокопроизводительные вычисления и применение этих технологий в климате, экосистемах и здравоохранении. Он также занимал должность директора Исследовательского центра высокопроизводительных вычислений армии США (AHPCRC) с 1998 по 2005 год.
Джефф Дин написал в Твиттере, что на самом деле потерял статью, поэтому в начале этого года он спросил Випина Кумара, своего наставника в Миннесотском университете, есть ли у него еще бумага, и, конечно же, учитель не...
Они снова спросили о школьной программе с отличием, и ответ был таков, что бумажные документы исчезли. К счастью, библиотека отсканировала PDF-файл, чтобы снова сделать документ видимым.
О чем эта статья?
Как эта статья почти 30-летней давности обучает нейронные сети параллельно?
Джефф Дин обсуждает два метода параллельного обучения нейронных сетей на основе обратного распространения ошибки.
Первый — это подход с разделением по шаблону, который представляет всю нейронную сеть на каждом процессоре и разделяет различные входные шаблоны на доступные процессоры;
Второй, называемый подходом network-partition, конвейерным подходом, распределяет нейроны нейронной сети по доступным процессорам, все из которых образуют кольцо, взаимодействующее друг с другом. Затем функции обрабатываются нейронами на каждом процессоре по мере их прохождения через этот конвейер.
Он также построил нейронные сети разных размеров и протестировал оба метода с несколькими входными данными.
Результаты показывают, что для метода сегментации режима эффект ускорения лучше, когда сеть большая и имеется много входных режимов;
БытьБыть
На следующем рисунке показаны результаты сравнения двух методов:
БытьБыть
В то время еще не была выпущена общедоступная версия Python, и не было таких фреймворков, как TensorFlow и PyTorch. Тестовый код Джеффа Дина для параллельного обучения нейронных сетей написан на языке C.
Сами нейронные сети и конфигурации, используемые для тестирования, также имеют сильное чувство возраста. Из статьи видно, как выглядела «большая» нейронная сеть в 1990 году: нейронная сеть с 3 слоями, 10, 21 и 10 нейронами в каждом слое, даже если она была очень большой. И Джефф Дин протестировал процессор, до 32.
В то время Джефф Дин не должен был представить, что 12 лет спустя он будет использовать 16 000 ядер ЦП вместе с Эндрю Нг, Куок Ле и другими, чтобы находить котов из массивных данных.
Бумажный портал:
https://drive.google.com/file/d/1I1fs4sczbCaACzA9XwxR3DiuXVtqmejL/view
Биография Джеффа Дина
БытьБыть
1969 года рождения, 49 лет.
В 1996 году он получил степень доктора компьютерных наук в Вашингтонском университете (UW).
Академик Национальной инженерной академии, член ACM, член AAAS.
Он присоединился к Google на ранней стадии в 1999 году, спроектировал и развернул большую часть систем Google для рекламы, сканирования, индексирования и запросов, а также различные распределенные вычислительные инфраструктуры для большинства продуктов Google, а также Google News, Google Translate и других продуктов. Разработчики.
Инициировал создание Google Brain.
Инициировал и построил TensorFlow, крупнейшую в мире платформу для глубокого обучения.
Хотя официальная должность — старший научный сотрудник Google, должность Джеффа Дина в Google уступает только основателям Ларри Пейджу и Сергею Брину.
В апреле 2018 года внутренняя структура Google была скорректирована, и Джефф Дин взял на себя весь бизнес и команду Google в области искусственного интеллекта.Говорят, что эта должность также примыкает к нынешнему генеральному директору Google Пичаи.
БытьБыть
△ Резюме Джеффа Дина в LinkedIn
шурин
Конечно, если у вас есть ограниченное представление об этом сдержанном боге, пришло время представить коллекцию отрывков Джеффа Дина, которые передавались из уст в уста в кругу.
Эти отрывки мы также пересказали нашему «шурину», и он с улыбкой ответил: «Спасибо за вашу любовь.
Давайте посмотрим на эти фрагменты:
Во время своего собственного интервью в Google Джеффу Дину задали вопрос о последствиях, если бы P=NP было правдой, и он ответил: «P = 0 или N = 1». закрытый ключ на доске.
Во время интервью для Google Джеффа Дина спросили, что это значит, если P=NP. Он сказал: «P=0 или N=1». Затем, прежде чем все интервьюеры перестали смеяться, Джефф взглянул на общедоступный сертификат Google и написал на доске соответствующий закрытый ключ.
Компиляторы не предупреждают Джеффа Дина, Джефф Дин предупреждает компиляторов.
Компилятор никогда не выдает Джеффу предупреждения о компиляции, но Джефф предупреждает компилятор.
The rate at which Jeff Dean produces code jumped by a factor of 40 in late 2000 when he upgraded his keyboard to USB 2.0.
В конце 2000-х скорость кодирования Джеффа внезапно увеличилась в 40 раз, потому что он обновил свою клавиатуру до USB 2.0.
Jeff Dean builds his code before committing it, but only to check for compiler and linker bugs.
Джефф по-прежнему компилирует код перед его отправкой, но только для проверки компилятора и компоновщика на наличие ошибок.
gcc -O4 emails your code to Jeff Dean for a rewrite.
Опция оптимизации gcc -O4 заключается в том, чтобы отправить Джеффу письмо по электронной почте, чтобы он переписал ваш код.
БытьБыть
Jeff Dean was born on December 31, 1969 at 11:48 PM. It took him twelve minutes to implement his first time counter.
Джефф родился 31 декабря 1969 года в 23:48, и ему потребовалось целых 12 минут, чтобы достичь своего первого таймера. (Предыстория: значения таймера в компьютерах обычно рассчитаны на количество секунд с 0:00:00 1 января 1970 года до настоящего времени).
When Jeff Dean designs software, he first codes the binary and then writes the source as documentation.
Когда Джефф пишет программное обеспечение, он напрямую пишет машинный код. Исходный код написан только для документации.
На клавиатуре Джеффа Дина две клавиши: 1 и 0.
Клавиатура Джеффа имеет до двух клавиш: 1 и 0.
When Jeff has trouble sleeping, he Mapreduces sheep.
Когда Джефф не может уснуть, он использует Mapreduce для овец. (Mapreduce — одна из работ Джеффа, этот алгоритм распределенной обработки — одна из основ опоры Google).
You name three pointers, Einstein, Euler, and Turing, when you de-reference them, all you get is Jeff Dean.
Если вы назовете три указателя Эйнштейна, Эйлера и Тьюринга, когда вы посмотрите, куда они указывают, вы увидите только Джеффа.
Для получения дополнительных подмножеств отрывков Джеффа Дина вы также можете перейти к сборнику «Google God Jeff Dean is so good» на Quora:
https://www.quora.com/What-are-all-the-Jeff-Dean-facts
- Заканчивать -