Почему бы всем не нарушить суть глубокого обучения? !

С тех пор, как в прошлом году AlphaGo прекратила злоупотреблять Ли Седолем, глубокое обучение стало популярным. Но никто, кажется, не может объяснить его принцип, просто используйте его как черный ящик. Некоторые говорят, что глубокое обучение — это нелинейный классификатор.^[1]? Некоторые люди говорят, что глубокое обучение — это симуляция человеческого мозга.^[2]...но я не думаю, что проткнул этот слой оконной бумаги.

После прочтения книги Джеффа Хокинса «Об интеллекте».^[3], "Вот и все!". И я был удивлен, обнаружив, что оригинальная книга была опубликована в 2004 году! Я боялся, что прочитал фальшивую книгу или определенную американскую работу по гражданским наукам, поэтому я пошел к Дубану и Чжиху, чтобы проверить ее, и обнаружил, что почти все, кто читал эту книгу, хвалили ее теорию. Но странно то, что никто, кажется, не хочет стоять за это.На этом влияние этой теории останавливается.Кажется, все сознательно скрывают, что читали эту тайную книгу. Он ясно полностью объяснил рабочий механизм интеллекта человеческого мозга! Обратите внимание, что настоящий интеллект , а не только искусственный интеллект! ! !

три идеи

Взгляд автора намного проще и глубже, чем в большинстве статей по науке о мозге:

Долгое время из-за нашей неспособности наблюдать за разумом изнутри люди всегда отождествляли «интеллект» с «поведением, проявляющим интеллект». Но когда мы читаем книгу, в глазах посторонних изменений нет, и мы знаем, что за этот период возникает бесчисленное количество ассоциаций, прозрений и воспоминаний. Поэтому «понимание» не может быть измерено внешним поведением, это показатель внутреннего измерения.
От парамеция до человека природа спроектирует набор разумных механизмов для каждого существа, или продолжит использовать набор механизмов, или появится совершенно новый разумный механизм от определенного поколения, и он используется до сих пор (тогда , первый Какой вид произвел этот разумный механизм?)? Является ли то, что мы называем интеллектом, уникальным для людей, или это общая черта живых существ (насколько именно)? И автор считает, что интеллект не может быть создан Богом для людей, он должен исходить из какой-то условной уловки природы.
Кора головного мозга, как структурно, так и функционально, имеет одинаковую структуру/механизм (строго говоря, это не догадка автора, а обнаруженная Верноном Маунткаслом еще в 1978 г.).

Из этих трех идей естественным образом возникают следующие вопросы:

Если интеллект не определяется поведением, как его определить?
Забегая вперед, как развивался интеллект?
Глядя внутрь себя, как структура коры головного мозга улавливает структуру мира?

Вкратце авторы заключают, что:

Интеллект не так загадочен, как думают люди, это всего лишь «способность предсказывать будущее».
Суть этих прогнозов не что иное, как побочный продукт «биологического стресса» при «биологическом гомеостазе» и «экологическом стрессе».
В основе интеллекта лежит нечто «устойчивое и неизменное». Это связано с однородной иерархической структурой коры головного мозга.

Далее давайте посмотрим, как автор шаг за шагом выводит природу интеллекта из этих трех простых выводов.

качели жизни

От маленького человеческого тела до крупной экономической системы — в сложных системах существует аналогичный механизм для уменьшения потрясений и возвращения системы в устойчивое состояние. Когда концентрация сахара в крови низкая, увеличивается секреция глюкагона, что приводит к повышению уровня сахара в крови; при высоком уровне сахара в крови увеличивается секреция инсулина, что снижает уровень сахара в крови. Регулируя эту пару гормонов, система стремится удерживать уровень сахара в крови в определенном диапазоне. Этот гомеостатический механизм проявляется в каждом уголке жизни и поддерживает самобаланс жизни.^[4].

Это как «невидимая рука», которая всегда хочет оттолкнуть от себя тиски, но при этом поймать «дезертира». Эта «невидимая рука» вплетает в наш мозг бесчисленные «правильные позиции» («постоянные репрезентации» на жаргоне ученых-мозговедов). Как только мы отклоняемся, мы начинаем быть начеку и мобилизуем несколько систем для реагирования. В качестве примера в книге, когда мяч пролетает, мы не рассчитываем его траекторию и точку приземления, а даем указания конечностям соответствующим образом приспосабливаться, пока мяч не будет пойман. Этот алгоритм настройки называется «прогнозирование». В чем, исходя из этого случая, существенное различие между интеллектом, проявляемым людьми при ловле мяча, и раздражительностью, проявляемой парамециями, двигающимися к еде?

Почему «предсказание» является основой интеллекта?

Обычно люди понимают "предсказание" слишком широко. Это как точное вычисление точки приземления с момента подачи мяча, а "предсказание" человеческого мозга больше похоже на "стресс". тюнинг. Развитие современного общества происходит слишком быстро, чтобы мы могли увидеть историческое лицо понятия, поэтому его легче сбить с толку туманом видимости. Когда мы вернемся к началу истории, туман естественным образом рассеется. Разум, в чем для нас величайшая польза? Не создавать что-то, а выживать. Люди постоянно запутались между «выживанием» или «развитием». Но мало кто это видит: развитие есть не что иное, как ответ на неизвестные экзистенциальные вызовы.

Как мы должны определить интеллект? Возможно, история эволюции может рассказать нам больше. Интеллект — это способность, которая помогает людям выжить: это способность, которая позволяет нам раздвоиться на плавающую в ручье рыбу, и это способность, которая позволяет нам судить, друг это или зверь, просто по размытому изображению. ... Мы должны изучать такие вопросы, как "как сохранить равновесие", а не решать баллистические проблемы. Это не является эволюционной целью природы, и, естественно, нет никакого мозгового механизма.

Все проблемы выживания сводятся к метапроблеме: как идентифицировать эти константы в проблеме. Например: рыба в ручье, направление домой... Если в интеллекте есть другие компоненты, такие как: воображение, создание инструментов и решение задач, то все они могут быть сведены к каким-то абстрактным средствам. В конце концов, у людей есть только один способ решить все проблемы — использовать абстракцию для примирения противоречий в более высоких измерениях.

Все неотделимо от «инвариантных представлений».

абстрактная природа

Так же, как люди узнают понятие «отрицательное число», они могут, наконец, объединить две совершенно разные по виду операции «сложение» и «вычитание» (одно увеличение и одно уменьшение) в «сложение над целочисленным полем». Примирение противоречий из более высоких измерений — это именно то, как устроена кора головного мозга и как она работает. Продолжайте находить общие точки в явлениях, извлекать их и давать им имена; эти имена стали краеугольными камнями (или «словарями») следующего уровня абстракции. И так далее, слой за слоем, пока не доберетесь до святого Грааля интеллекта — постоянной репрезентации.

Например, как мы идентифицируем ребра^[5]как насчет?

Давайте начнем с изучения сетчатки размером 3×3, помеченной от №1 до №9 (как показано на изображении ниже). Когда появляется вертикальная линия (#1, #4, #7 все активированы), электрический сигнал передается на второй уровень. Каждый нейрон второго слоя отвечает на активацию группы клеток сетчатки. Например: крайний левый фрагмент нейронов второго слоя отвечает на активацию одной клетки сетчатки. Другой пример: второй левый нейрон во втором слое отвечает на активацию любых двух клеток сетчатки. И так далее...

Распознавание границ: нижний слой — клетки сетчатки; при активации комбинации клеток сетчатки будут активированы соответствующие нейроны в верхнем слое; и после активации определенной комбинации нейронов в верхнем слое она будет активирована в цепочка нейронов более высокого уровня

Если учесть фактор времени, предполагая, что сигнал не исчезает сразу, а затухает со временем, то пока время достаточно мало, вводим (#1, #4, #7), (#2, # 5, № 8), (№ 3, № 6, № 9) Эти три набора стимулов активируют нейрон в третьем слое, представляя «нахождение вертикальной линии».

Видите ли, каждый нейрон на самом деле является «словом» (или «концепцией»/«абстрактом»/«функцией»). Просто «слова», описываемые нейронами более низкого уровня, менее абстрактны. Например, нейрон № (1, 4, 7) во втором слое представляет собой «вертикальную линию, появляющуюся в крайнем левом углу сетчатки», в то время как нейрон в верхнем слое не имеет ограничения «в крайнем левом углу». сетчатки».

роль памяти

Нейроны могут завершить сбор-интеграцию-вывод информации за 5 миллисекунд, что эквивалентно 200 операциям в секунду. Люди могут распознавать изображения, делать выбор за полсекунды (эквивалентно 100 шагам)… 100 шагов машины сделать не могут. Из известных человечеству алгоритмов возможно только "игра в таблицу" (сохранение ответа в памяти заранее, при его использовании не вычисляется, а только извлекается). Следовательно, вся кора головного мозга представляет собой систему памяти, а не компьютер.

Что глубокое обучение делает правильно?

Многоуровневая сеть, обеспечивающая послойный канал абстракции. Сегодня системы распознавания изображений делают именно это: идентифицируют края на нижнем уровне, затем идентифицируют определенные формы, а затем идентифицируют определенные функции на верхнем уровне...

Свертка, которая предоставляет средства для получения «постоянного представления».

Что еще мы не знаем?

Когда мы хотим восстановить определенное воспоминание, нам часто нужно всего несколько слов. То есть воспоминания кажутся хранящимися в голографической форме. Любой фрагмент содержит целое.

Кроме того, мы до сих пор не знаем, как мозг принимает решение за 100 шагов. Мы также не знаем, почему существует так много связей с обратной связью? В чем функциональное различие между аксоном и дендритом? ...

Теперь вернемся назад и посмотрим на три инсайта автора, опять же на сленге:

Понимание — это внутренняя мера того, как мозг формирует воспоминания и использует эти воспоминания, чтобы делать прогнозы.
Предсказание — это побочный продукт некоего саморегулирующегося механизма.
Кора головного мозга удивительно однородна по внешнему виду и структуре. То есть кора головного мозга использует одни и те же вычисления, чтобы делать все, что она делает. Весь человеческий интеллект (зрение, слух, движения тела...) основан на едином наборе алгоритмов.

Человечество медленно приближается к сущности мира - материя является лишь носителем информационных узоров. Другие органы, помимо человеческого мозга, — это всего лишь флот для поддержки этой миссии.

Подробности см. в главе 30 книги «Красота математики» (второе издание), написанной г-ном У Цзюнем.↩
Написано учителем Ван Чуанем.О глубоком обучении это может быть самый простой научно-популярный пост для вас.》↩
Первоначальное название было «Об разведке». Перевод издательства China Overseas Chinese Publishing House - «Intelligent Times». Хотя перевод содержания все еще на месте, перевод названия подозревается в том, что это уловка.↩
Если мы хотим проследить математическую основу этой самоустойчивой мысли, мы должны вернуться к началу открытия кибернетики. Чтобы узнать об этой истории, см. главу 2 книги Томаса Рида «Восстание машин: затерянная история кибернетики».↩
Здесь следует отметить, что в действительности человеческий глаз реализует распознавание объектов по краям не по следующим принципам, а по очень умному и простому механизму. Упоминается в главе 36 лекций Фейнмана по физике (том 1).↩