Past is prologue1.
Я имею в виду оба способа, которыми люди интерпретируют значение Шекспира, когда Антонио произносит фразу в «Буре».
В одной интерпретации это то, что прошлое предопределило последовательность, которая вот-вот развернется, и поэтому я считаю, что то, как мы пришли к тому, где мы находимся в искусственном интеллекте, определит направления, в которых мы будем двигаться дальше, поэтому это стоит изучить. это прошлое.
Другая интерпретация заключается в том, что на самом деле прошлого было не так много, и большая часть необходимой работы еще впереди, я думаю, что мы еще даже не приступили к искусственному интеллекту, и впереди много тяжелой работы.
THE EARLY DAYS
It is generally agreed that John McCarthyввел термин «искусственный интеллект» вwritten proposal2 for a 1956 Dartmouth workshop, dated August 31st, 1955. It is authored by, in listed order, John McCarthy of Dartmouth, Marvin Minsky of Harvard, Nathaniel Rochester of IBM and Claude Shannon of Bell Laboratories. Later all but Rochester would serve on the faculty at MIT, although by early in the sixties McCarthy had left to join Stanford University. The nineteen page proposal has a title page and an introductory six pages (1 through 5a), followed by individually authored sections on proposed research by the four authors. It is presumed that McCarthy wrote those first six pages which include a budget to be provided by the Rockefeller Foundation to cover 10 researchers.
На титульном листе написано ПРЕДЛОЖЕНИЕ ДЛЯ ЛЕТНЕГО ИССЛЕДОВАТЕЛЬСКОГО ПРОЕКТА ПО ИСКУССТВЕННОМУ ИНТЕЛЛЕКТУ В ДАРТМУТЕ Первый абзац включает предложение со ссылкой на «интеллект»:
The study is to proceed on the basis of the conjecture that every aspect of learning or any other feature of intelligence can in principle be so precisely described that a machine can be made to simulate it.
And then the first sentence of the second paragraph starts out:
The following are some aspects of the artificial intelligence problem:
Никакого описания того, что такое человеческий интеллект, никаких рассуждений о том, могут ли машины это делать (т.
In the linked file above there are an additional four pages dated March 6th, 1956 год, Аллен Ньюэлл и Херб Саймон, в то время работавшие в RAND Corporation и Технологическом институте Карнеги соответственно (позже оба были гигантами в Карнеги). Университет Меллона) о предложенном исследовательском вкладе. Они говорят, что занимаются серией набегов в области сложной обработки информации и что «большая часть этой деятельности относится к области искусственного интеллекта». Кажется, фраза «искусственный интеллект» была легко и быстро принята без какого-либо формального определения того, что это может быть.
Во введении Маккарти и в общих чертах того, что намереваются исследовать шесть названных участников, нет недостатка в амбициях.
The speeds and memory capacities of present computers may be insufficient to simulate many of the higher functions of the human brain, but the major obstacle is not lack of machine capacity, but our inability to write programs taking full advantage of what we have.
Некоторые темы ИИ, которые Маккарти описывает во введении, — это как заставить компьютер использовать человеческий язык, как организовать «нейронные сети» (они были изобретены в 1943 году — незадолго до того, как сегодняшняя технологическая элита впервые услышала о них). и начали чрезмерно возбуждаться), чтобы они могли формировать концепции, как машина может улучшать себя (то есть учиться или развиваться), как машины могут формировать абстракции, используя свои датчики для наблюдения за миром, и как заставить компьютеры мыслить творчески. Эти темы расширены в отдельных рабочих предложениях Шеннона, Мински, Рочестера и Маккарти. Приложение от Ньюэлла и Саймона добавляет к сочетанию возможность заставить машины играть в шахматы (в том числе посредством обучения) и доказывать математические теорем, наряду с разработкой теорий о том, как машины могут учиться и как они могут решать проблемы, подобные тем, которые могут решить люди.
No lack of ambition! And recall that at this time there were only a handful of digital computers in the world, and none of them had more than at most a few tens of kilobytes of memory for running programs and data, and only punched cards or paper tape for long term storage.
Маккарти, безусловно, был не первым, кто заговорил о машинах и «интеллекте», и на самом деле Алан Тьюринг писал и публиковал об этом до этого, но без прозвища «искусственный интеллект».Computing Machinery and Intelligence3которая была опубликована в октябре 1950 года. Это статья, в которой он представляет «Игру в имитацию», которая стала называться «Тестом Тьюринга», где человек должен решить, является ли сущность, с которой он разговаривает, с помощью версии 1950 года. мгновенное
обмен сообщениями — это человек или компьютер. По оценке Тьюринга, в 2000 году компьютер со 128 МБ памяти (он называет это binary digits) will have a 70% chance of fooling a person.
Хотя в заголовке статьи есть слово «Интеллект», есть только одно место, где это слово используется в основной части статьи (тогда как «машина» встречается не менее 207 раз), и это относится к интеллект человека, который пытается построить машину, которая может имитировать взрослого человека. Однако его цель ясна. Он считает, что будет возможно создать машину, которая можетthinkкак и человека, и к 2000 году. Он даже прикинул, сколько программистов будет необходимо (шестьдесят — его ответ, работающий в течение пятидесяти лет, то есть всего 3000 лет программиста — крошечное число по стандартам многих программных систем сегодня).
In a slightly earlier 1948 paper titled Intelligent Machinery but not published4до 1970 года, спустя много времени после своей смерти, Тьюринг обрисовал природу «дискретного управления машины», то, что мы сегодня назвали бы «компьютерами», поскольку он, по сути, изобрел цифровые компьютеры в статье, написанной им в 1937 году. быть слишком большой, чтобы его можно было вместить в двигательную сенсорную часть машины, и вместо этого должен управлять им дистанционно. лучше всего исследовать игры и криптографию и, в меньшей степени, перевод языков и математики.
Again, no lack of ambition, but a bowing to the technological realities of the day.
When AI got started the clear inspiration was human level performance and human level intelligence. I think that goal has been what attracted most researchers into the field for the first sixty years. The fact that we do not have anything close to succeeding at those aspirations says not that researchers have not worked hard or have not been brilliant. It says that it is a very hard goal.
I wrote a (long) paper Intelligence without Reason5 about the pre-history and early days of Artificial Intelligence in 1991, twenty seven years ago, and thirty five years into the endeavor. My current blog posts are trying to fill in details and to provide an update for a new generation to understand just what a long term project this is. To many it all seems so shiny and exciting and new. Of those, it is exciting only.
TOWARDS TODAY
In the early days of AI there were very few ways to connect sensors to digital computers or to let those computers control actuators in the world.
В начале 1960-х люди, желающие работать над алгоритмами компьютерного зрения, должны были делать фотографии на пленку, превращать их в отпечатки, прикреплять отпечатки к барабану, а затем заставлять этот барабан вращаться и двигаться вверх и вниз рядом с одним датчиком яркости света. чтобы превратить фотографию в массив интенсивностей. К концу семидесятых, имея двадцать или тридцать фунтов оборудования стоимостью в десятки тысяч долларов, исследователь мог получить цифровое изображение прямо с камеры в компьютер. стали простыми до восьмидесятых годов, и со временем они становились все проще и дешевле.
Подобные истории справедливы для любой другой сенсорной модальности, а также для вывода результатов компьютерных программ в физические действия в мире.
Thus, as Turing had reasoned, early work in Artificial Intelligence turned towards domains where there was little need for sensing or action. There was work on games, where human moves could easily be input and output to and from a computer via a keyboard and a printer, mathematical exercises such as calculus applied to symbolic algebra, or theorem proving in logic, and to understanding typed English sentences that were arithmetic word problems.
Написание программ, которые могли бы играть в игры, быстро привело к идее «поиска по дереву», который был ключом почти ко всем ранним экспериментам с ИИ в других областях, перечисленных выше, и действительно теперь является основным инструментом большей части компьютерных наук. Ранние игры также предоставил возможность изучить машинное обучение и изобрести особый его вариант, обучение с подкреплением, которое лежало в основе недавнего успеха программы AlphaGo.Я более подробно описал эту раннюю историю в мой пост за август 2017Machine Learning Explained.
Before too long a domain known as blocks world was invented where all sorts of problems in intelligence could be explored. Perhaps the first PhD thesis on computer vision, by Larry Roberts at MIT in 1963, had shown that with a carefully lighted scene, all the edges of wooden block with planar surfaces could be recovered.
That validated the idea that it was OK to work on complex problems with blocks where the description of their location or their edges was the input to the program, as in principle the perception part of the problem could be solved. This then was a simulated world of perception and action, and it was the principal test bed for AI for decades.
Some people worked on problem solving in a two dimensional blocks world with an imagined robot that could pick up and put down blocks from the top of a stack, or on a simulated one dimensional table.
Others worked on recovering the geometry of the underlying three dimensional blocks from just the input lines, including with shadows, paving the way for future more complete vision systems than Roberts had demonstrated.
And yet others worked on complex natural language understanding, and all sorts of problem solving in worlds with complex three dimensional blocks.
No one worked in these blocks worlds because that was their ambition. Rather they worked in them because with the tools they had available they felt that they could make progress on problems that would be important for human level intelligence. At the same time they did not think that was just around the corner, one magic breakthrough away from all being understood, implemented, and deployed.
Over time may sub-disciplines in AI developed as people got deeper and deeper into the approaches to particular sub-problems that they had discovered. Before long there was enough new work coming out that no-one could keep up with the breadth of AI research. The names of the sub-disciplines included planning, problem solving, knowledge representation, natural language processing, search, game playing, expert systems, neural networks, machine inference, statistical machine learning, robotics, mobile robotics, simultaneous localization and mapping, computer vision, image understanding, and many others.
Breakoff Groups
Often, as a group of researchers found a common set of problems to work on they would break off from the mainstream and set up their own journals and conferences where reviewing of papers could all be done by people who understood the history and context of the particular problems.
Я участвовал в двух таких отколовшихся группах в конце 1980-х и начале 1990-х годов, обе из которых существуют до сих пор: «Искусственная жизнь» и «Моделирование адаптивного поведения». Эволюционные процессы. Вторая рассматривает, как поведение животных может быть вызвано взаимодействием восприятия, действия и вычислений. Обе эти группы и их журналы все еще активны сегодня.
Below is my complete set of the Artificial Life journal from when it was published on paper from 1993 through to 2014. It is still published online today, by the MIT Press.
There were other journals on Artificial Life, and since 1989 there have been international conferences on it. I ran the 1994 conference and there were many hundreds of participants and there were 56 carefully reviewed papers published in hard copy proceedings which I co-edited with Pattie Maes; all those papers are now available online.
And here is my collection of the Adaptive Behavior journal from when it was published on paper from 1992 through to 2013. It is still published online today, by Sage.
And there has always been a robust series of major conferences, called SAB, for Simulation of Adaptive Behavior with paper and now online proceedings.
The Artificial Life Conference will be in Tokyo this year in July, and the SAB conference will be in Frankfurt in August. Each will attract hundreds of researchers. And the 20+ volumes of each of the journals above have 4 issues each, so close to 100 issues, with 4 to 10 papers each, so many hundreds of papers in the journal series. These communities are vibrant and the Artificial Life community has had some engineering impact in developing genetic algorithms which are in use in some number of application.
But neither the Artificial Life community nor the Simulation of Adaptive Behavior community have succeeded at their early goals.
We still do not know how living systems arise from non-living systems, and in fact still do not have good definitions of what life really is. We do not have generally available evolutionary simulations which let us computationally evolve better and better systems, despite the early promise when we first tried it. And we have not figured out how to evolve systems that have even the rudimentary components of a complete general intelligence, even for very simple creatures.
On the SAB side we can still not computationally simulate the behavior of the simplest creature that has been studied at length. That is the tiny worm C. elegans, в котором всего 959 клеток, из которых 302 нейрона. Мы знаем его полный коннектом (и даже его 56 глиальных клеток), но все же мы не можем смоделировать, как они производят большую часть его поведения.
I tell these particular stories not because they were uniquely special, but because they give an idea of how research in hard problems works, especially in academia. There were many, many (at least twenty or thirty) other AI subgroups with equally specialized domains that split off. They sometimes flourished and sometimes died off. All those subgroups gave themselves unique names, but were significant in size, in numbers of researchers and in active sharing and publication of ideas.
But all researchers in AI were, ultimately, interested in full scale general human intelligence. Often their particular results might seem narrow, and in application to real world problems were very narrow. But general intelligence has always been the goal.
I will finish this section with a story of a larger scale specialized research group, that of computer vision. That specialization has had real engineering impact. It has had four or more major conferences per year for thirty five plus years. It has half a dozen major journals. I cofounded one of them in 1987, with Takeo Kanade, the International Journal of Computer Vision, which has had 126 volumes (I only stayed as an editor for the first seven volumes) and 350 issues since then, with 2,080 individual articles. Remember, that is just one of the half dozen major journals in the field. The computer vision community is what a real large push looks like. This has been a sustained community of thousands of researchers world wide for decades.
CATCHY NAMES
I think the press, and those outside of the field have recently gotten confused by one particular spin off name, that calls itself AGI, or Artificial General Intelligence. And the really tricky part is that there a bunch of completely separate spin off groups that all call themselves AGI, but as far as I can see really have very little commonality of approach or measures of progress. This has gotten the press and people outside of AI very confused, thinking there is just now some real push for human level Artificial Intelligence, that did not exist before. They then get confused that if people are newly working on this goal then surely we are about to see new astounding progress. The bug in this line of thinking is that thousands of AI researchers have been working on this problem for 62 years. We are not at any sudden inflection point.
There is a journal of AGI, which you can find here. Since 2009 there have been a total of 14 issues, many with only a single paper, and only 47 papers in total over that ten year period. Some of the papers are predictions about AGI, but most are very theoretical, modest, papers about specific logical problems, or architectures for action selection. None talk about systems that have been built that display intelligence in any meaningful way.
There is also an annual conferenceдля этой разрозненной группы, начиная с 2008 г., около 20 статей плюс-минус в год, лишь немногие из которых размещены в Интернете на собственных веб-сайтах авторов. риски ОИИ для очень теоретических, специализированных и неясных тем исследований.Ни один из них не близок к какой-либо технике.
So while there is an AGI community it is very small and not at all working on any sort of engineering issues that would result in any actual Artificial General Intelligence in the sense that the press means when it talks about AGI.
I dug a little deeper and looked at two groups that often get referenced by the press in talking about AGI.
One group, perhaps the most referenced group by the press, styles themselves as an East San Francisco Bay Research Institute working on the mathematics of making AGI safe for humans. Making safe human level intelligence is exactly the goal of almost all AI researchers. But most of them are sanguine enough to understand that that goal is a long way off.
This particular research group lists all their publications and conference presentations from 2001 through 2018 on their web site. This is admirable, and is a practice followed by most research groups in academia.
С 2001 года они выпустили 10 архивных журнальных статей (но см. в середине пакета профессор плюс студенты в исследовательском университете. Но 36 из этих 93 результатов являются просто прогнозами того, когда ОИИ будет «достигнут», поэтому сократите их до 57 технических результатов, а затем посмотрите на их содержание. они очень теоретические математические и логические рассуждения о представлении и рассуждении, без практических алгоритмов и приложений к реальному миру Ничто из того, что они создали за 18 лет, не было взято и использовано кем-либо еще в любом приложении демонстрации в любом месте.
And the 10 archival journal papers, the only ones that have a chance of being read by more than a handful of people? Every single one of them is about predicting when AGI will be achieved.
This particular group gets cited by the press and by AGI alarmists again and again. But when you look there with any sort of critical eye, you find they are not a major source of progress towards AGI.
Еще одна группа, которую часто называют источником для AGI, — это компания из Восточной Европы, которая утверждает, что создаст искусственный общий интеллект в течение 10 лет. деньги в него, чтобы поддерживать его Снова давайте посмотрим, что говорит нам его собственный веб-сайт.
In this case they have been calling for proposals and ideas from outsiders, and they have distilled that input into the following aspiration for what they will do:
We plan to implement all these requirements into one universal algorithm that will be able to successfully learn all designed and derived abilities just by interacting with the environment and with a teacher.
Yeah, well, that is just what Turing suggested in 1948. So this group has exactly the same aspiration that has been around for seventy years. And they admit it is their aspiration but so far they have no idea of how to actually do it. Turing, in 1948, at least had a few suggestions.
If you, as a journalist, or a commentator on AI, think that the AGI movement is large and vibrant and about to burst onto the scene with any engineered systems, you are confused. You are really, really confused.
Журналисты и прогнозисты общего назначения, пожалуйста, сделайте домашнее задание: загляните глубже и получите реальную оценку того, смогут ли группы, использующие фразу ОИИ в своих самоописаниях, привести вас к человеческому уровню. Интеллект, или действительно делают ли они какой-либо измеримый прогресс в этом.Заманчиво видеть тех, кто находится на крайности, у кого нет академических должностей, кто доблестно работает и рассказывает истории о том, чем они отличаются от других. и придумают что-то новое и уникальное, как гениальные неудачники.Но, по всей вероятности, они не добьются успеха через десятилетия, как до сих пор не удалось группам «Искусственная жизнь» и «Моделирование адаптивного поведения», в которые я входил. в своих целях почти тридцатилетней давности.
То, что кто-то говорит, что работает над ОИИ, общим искусственным интеллектом, не означает, что они знают, как его создать, сколько времени это может занять или обязательно добиваются какого-либо прогресса.Такие недостатки были исторической нормой. Исследователи-основатели искусственного интеллекта в 1950-х и 1960-х годах думали, что работают над ключевыми компонентами общего интеллекта, но это не значит, что они приблизились к своей цели, даже если они думали, что это не так уж и сложно. далеко от.
Так что, журналисты, не смей,не смейВернитесь ко мне через десять лет и скажите, где тот Искусственный Всеобщий Интеллект, который нам обещали?
И пока мы говорим о броских названиях, давайте не будем забывать о «глубоком обучении». Я подозреваю, что слово «глубокое» в этом названии немного вводит посторонних в заблуждение. Каким-то образом оно предполагает, что, возможно, существует глубокий уровень понимания того, что «глубокое обучение » алгоритм имеет, когда он чему-то учится. На самом деле обучение в этом смысле очень поверхностное, и совсем не то, что относится к «глубокому». «Глубокое» в «глубоком обучении» относится к количеству слоев единиц или «нейронов» в сеть.
Когда в 1980-х годах было разработано обратное распространение, фактический механизм обучения, используемый в глубоком обучении, большинство сетей имели только два или три слоя, а революционно новые сети остались такими же по структуре, как и 30 лет назад, но имеют целых 12 слоев. Вот что такое «глубина», 12 против 3. Для того, чтобы обучение в этих «глубоких» сетях работало, должно быть намного больше вычислительной мощности (закон Мура позаботился об этом более 30 лет), разумное изменение в активационная функция в каждом нейроне, и способ обучения сети поэтапно, известный как зажим, но не глубокое понимание.
WHY THIS ESSAY?
Why did I post this? I want to clear up some confusions about Artificial Intelligence, and the goals of people who do research in AI.
There have certainly been a million person-years of AI research carried out since 1956 (much more than the three thousand that Alan Turing thought it would take!), with an even larger number of person-years applied to AI development and deployment.
We are way off the early aspirations of how far along we would be in Artificial Intelligence by now, or by the year 2000 or the year 2001. We are not close to figuring it out. In my next blog post, hopefully in May of 2018 I will outline all the things we do not understand yet about how to build a full scale artificially intelligent entity.
My intent of that coming blog post is to:
- Остановите людей, беспокоящихся о грядущем сверхинтеллектуальном ИИ (хотя я знаю, что они будут наслаждаться покалыванием вины, думая об этом, и продолжат иррационально раскручивать это…).
- To suggest directions of research which can have real impact on the future of AI, and accelerate it.
- To show just how much fun research remains to be done, and so to encourage people to work on the hard problems, and not just the flashy demos that are hype bait.
В заключение я хотел бы поделиться последним предложением Алана Тьюринга из его статьи «Вычислительные машины и интеллект»., just as valid today as it was 68 years ago:
We can only see a short distance ahead, but we can see plenty there that needs to be done.
1This whole post started out as a footnote to one of the two long essays in the FoR&AI series that I am working on. It clearly got too long to be a footnote, but is much somewhat shorter than my usual long essays.
2I have started collecting copies of hard to find historical documents and movies about AI in one place, as I find them in obscure nooks of the Web, where the links may change as someone reorganizes their personal page, or on a course page. Of course I can not guarantee that this link will work forever, but I will try to maintain it for as long as I am able. My web address has been stable for almost a decade and a half already.
3This version is the original full version as it appeared in the journal Mind, включая ссылки.Большинство версий, которые можно найти в Интернете, представляют собой более позднюю перепечатку без ссылок и с удаленным рисунком - и
Я не проверял их полностью на наличие ошибок, которые могли быть внесены — я заметил, что по крайней мере одно место было has been substituted for
. That is why I have tracked down the original version to share here.
4His boss at the National Physical Laboratory (NPL), Sir Charles Darwin, grandson of thatЧарльз Дарвин, не одобрил то, что он написал, и поэтому отчет не был допущен к публикации.Когда он наконец появился в 1970 году он был помечен как «пролог» к пятому тому ежегодной серии томов под названием «Машинный интеллект», издаваемой в Великобритании и в данном случае отредактированной Бернардом Мельцером и Дональдом Мичи, последним коллегой Тьюринга во время войны. в Блетчли-парке Они тоже использовали прошлое как пролог.
5This paper was written on the occasion of my being co-winner (with Martha Pollack, now President of Cornell University) in 1991 of the Computers and Thought award that is given at the bi-annual International Joint Conference on Artificial Intelligence (IJCAI)молодому исследователю. Были некоторые разногласия по поводу того, считался ли я в 36 лет еще молодым, и поэтому впоследствии правила были ужесточены таким образом, чтобы гарантировать, что я навсегда останусь самым старым получателем этой награды. В любом случае В течение некоторого времени я не соглашался с обычным миром ИИ (кажется, я помню фразу, включающую «сердитый молодой человек»…), поэтому я был очень благодарен за награду.Труды конференции были на шести страницах, в две колонки , ограничение на вклад статей. Как лауреат премии, меня пригласили написать статью с ослабленным лимитом страниц. Я поверил им на слово и подготовил статью, охватившуюtwenty seven pages and was over 25,000 words long! It was my attempt at a scholarly deconstruction of the field of AI, along with the path forward as I saw it.