Подборка | Базовый лагерь технологий искусственного интеллекта
Участвовать | шон
Править | Минмин
В начале 1990-х годов, когда профессор физики Уичитского государственного университета Элизабет Берман начала объединять квантовую физику и искусственный интеллект (в основном спорную тогда технологию нейронных сетей), большинство людей думало, что эти две дисциплины подобны воде и маслу, и совместить их невозможно. их. "В то время мне было трудно публиковаться. Журналы по нейронным сетям спрашивали меня, что такое квантовая механика, а журналы по физике спрашивали меня, что такое нейронные сети", — вспоминает она.
В наши дни сочетание двух дисциплин кажется вполне естественным. Нейронные сети и другие системы машинного обучения стали самыми влиятельными технологиями 21 века. Эти системы не только превзошли людей в задачах, с которыми большинство людей не справляются (например, Go и интеллектуальный анализ данных), но и превзошли людей в некоторых собственных задачах мозга (например, распознавание лиц, языковой перевод). Реализация этих систем зависит от огромной вычислительной мощности, поэтому технологические компании ищут компьютеры, которые не только больше, но и более совершенны.
После десятилетий исследований квантовые компьютеры теперь превосходят все остальные компьютеры по вычислительной мощности. Убийственной областью применения квантовых компьютеров часто считается способность факторизовать большие числа, что необходимо для современного шифрования. Но пройдет еще как минимум десятилетие, прежде чем это произойдет. Однако современные базовые квантовые процессоры уже могут удовлетворить вычислительные потребности машинного обучения. Квантовые компьютеры могут обрабатывать большие объемы данных за один шаг, выявлять тонкие закономерности, которые обычные компьютеры не могут распознать, и не застревают при обнаружении неполных или неточных данных. «Существует естественная связь между квантовыми вычислениями и присущими машинному обучению статистическими свойствами, — сказал Йоханнес Оттербах, физик из Rigetti Computing. (Rigetti Computin — компания по производству квантовых компьютеров, базирующаяся в Беркли, Калифорния.)
Во всяком случае, нынешняя тенденция впала в другую крайность. Технологические гиганты, такие как Google, Microsoft и IBM, вкладывают деньги в квантовое машинное обучение, а Университет Торонто создал инкубатор стартапов для квантового машинного обучения. «Машинное обучение сейчас становится модным словечком. Добавьте слово «квант» к слову «машинное обучение», и оно станет супермодным словечком», — сказал Сколковский институт науки и технологий, Москва, квантовый физик Джейкоб Биамонте.
Однако слово «квант» здесь не имеет значения. Вы можете подумать, что системы квантового машинного обучения должны быть мощными, но на самом деле такие системы, похоже, страдают от своего рода синдрома запертости. Системы квантового машинного обучения имеют дело с квантовыми состояниями, а не с данными, понятными человеку, и взаимное преобразование квантовых состояний и данных может привести к исчезновению первоначальных преимуществ системы. Например, у iPhone X отличные характеристики и производительность, но если сигнал сети слишком плохой, он будет работать так же медленно, как старый телефон. В некоторых особых случаях физики могут преодолевать барьеры ввода-вывода, но существуют ли такие случаи в реальных задачах машинного обучения? Ответ пока неизвестен. «Сейчас у нас нет четкого ответа. Долгое время людей не заботило, могут ли эти алгоритмы повысить скорость вычислений», — сказал Скотт Ааронсон, ученый-компьютерщик из Техасского университета в Остине.
▌Квантовый нейрон
Будь то традиционная нейронная сеть или квантовая нейронная сеть, их основная задача — распознавать закономерности. Вдохновленные человеческим мозгом, нейронные сети состоят из основных вычислительных единиц, или «нейронов». Каждый нейрон можно рассматривать как переключающее устройство. Нейрон может отслеживать выходные данные нескольких других нейронов, например, голосование на выборах, и если достаточно активных нейронов, нейрон сработает. Обычно нейроны располагаются слоями. Начальный слой импортирует входные данные (например, пиксели изображения), промежуточные слои генерируют входные данные в различных комбинациях (представляющие такие структуры, как края, геометрические формы и т. д.), а последний слой генерирует выходные данные (высокоуровневые описания содержимого изображения).
Важно отметить, что связи между нейронами должны регулироваться методом проб и ошибок и не являются предопределенными. Например, скормите нейронной сети изображение с надписью «котенок» или «щенок». Сеть присваивает каждому изображению метку, проверяет правильность совпадения и корректирует нейронные связи, если нет. Предсказания сети изначально генерируются случайным образом, но их точность будет увеличиваться, после 10 000 раз обучения сеть сможет идентифицировать домашних животных на изображениях. Формальная нейронная сеть может иметь 1 миллиард нейронных соединений, и все они должны быть скорректированы.
Все соединения традиционного компьютерного вычислительного блока представлены огромной матрицей чисел, а работа нейронной сети — это вычислительная матричная алгебра. Традиционный подход заключается в использовании специального чипа (например, процессора изображений) для выполнения этих матричных операций. С точки зрения выполнения матричных операций квантовые компьютеры не имеют себе равных. «Квантовые компьютеры могут работать с большими матрицами и векторами намного быстрее», — говорит физик Массачусетского технологического института Сет Ллойд, пионер квантовых вычислений.
При выполнении операций квантовые компьютеры могут использовать экспоненциальные свойства квантовых систем. Большая часть емкости хранения информации квантовых систем реализуется не одной единицей данных — кубитом (соответствующим биту в традиционных компьютерах), а общими свойствами этих кубитов. Два кубита имеют четыре состояния соединения: включено/включено, выключено/выключено, включено/выключено, выключено/включено. Каждому состоянию связи присваивается определенный вес или «величина», которая представляет нейрон. Три кубита могут представлять восемь нейронов. Четыре кубита могут представлять 16 нейронов. Вычислительная мощность машин росла в геометрической прогрессии. На самом деле нейроны есть по всей системе. При обработке состояния 4 кубитов компьютер может обрабатывать 16 чисел за один шаг, в то время как традиционные компьютеры могут обрабатывать только одно за один шаг.
По оценкам Ллойда, компьютер с 60 кубитами может закодировать столько же данных, сколько все данные, которые люди генерируют за год, а компьютер с 300 кубитами может закодировать традиционный информационный контент в наблюдаемой Вселенной. (Квантовый компьютер, совместно разработанный IBM, Intel и Google, в настоящее время является самым большим квантовым компьютером, имеющим около 50 кубитов). Но предпосылка состоит в том, что каждая амплитуда (амплитуда) соответствует традиционному биту. Ааронсон сказал: «На самом деле величина — это непрерывное число (комплексное число). Для надежной точности испытаний можно сохранить 15 бит информации.
Однако способность квантового компьютера хранить информацию не ускоряет его работу. Как использовать кубит, это ключ. В 2008 году Ллойд, физик из Массачусетского технологического института Арам Хэрроу и Авинатан Хассидим, специалист по информатике из Университета Бар-Илан в Израиле, показали, как с помощью квантового компьютера можно выполнить ключевую алгебраическую операцию обращения матриц. Они разложили всю операцию на серию логических операций, которые можно было бы выполнить на квантовом компьютере. Их алгоритм применим ко многим видам алгоритмов машинного обучения. Кроме того, необходимо выполнить меньше арифметических шагов, чем разложить на множители большое число. Квантовые компьютеры могут быстро выполнять задачи классификации до того, как на них повлияет шум. «Квантовые вычисления могут обеспечить квантовое преимущество до тех пор, пока не появятся полностью универсальные и отказоустойчивые квантовые компьютеры», — сказал Кристан Темме из Исследовательского центра Томаса Дж. Уотсона IBM.
▌Пусть система решит проблему сама
До сих пор мы реализовали машинное обучение на основе квантовой матричной алгебры только на 4-кубитном компьютере. Большая часть экспериментального успеха квантового машинного обучения была основана на другом подходе: квантовая система не просто имитирует сеть, она сама является сетью. Каждый кубит представляет собой нейрон. Хотя этот подход не позволяет компьютерам использовать преимущества экспоненциальных свойств, он позволяет компьютерам использовать преимущества других свойств квантовой физики.
Квантовый процессор с 2000 кубитами, произведенный компанией D-Wave Systems недалеко от Ванкувера, является самым большим квантовым процессором на сегодняшний день. Он отличается от того, что большинство людей думают о компьютере: его основная задача — найти внутреннюю непротиворечивость данных, а не выполнить ряд операций над входными данными и получить результат. Каждый кубит представляет собой сверхпроводящую петлю, которая действует как небольшой электромагнит, который движется вверх, вниз или вверх и вниз (суперпозиция). Заставьте кубиты магнитно взаимодействовать, чтобы они «соединялись» друг с другом.
Процессоры для приложений машинного обучения производства D-Wave Systems ▲
Чтобы запустить систему, сначала необходимо приложить горизонтальное магнитное поле, которое может установить кубит в равную суперпозицию вверх и вниз, что эквивалентно пустому состоянию. Существует несколько способов ввода данных. В некоторых случаях можно зафиксировать слой кубитов на ожидаемом входном значении, однако в большинстве случаев входные данные следует импортировать в область взаимодействия кубита. Затем позвольте кубиту взаимодействовать. Некоторые кубиты ориентированы в одном направлении, некоторые — в противоположном направлении, и под действием горизонтального магнитного поля они переворачиваются в выбранном ими направлении. Таким образом, эти кубиты могут вызвать переворот других кубитов. Поскольку многие кубиты смещены, поначалу будет много переворотов. После прекращения перелистывания можно отключить горизонтальное магнитное поле, зафиксировав кубит в фиксированном положении. В этот момент кубит находится в суперпозиции вверх и вниз, что гарантирует соответствие выхода входу.
Дело в том, что трудно предсказать, как сложится судьба Кубита. Выполняя задачи, которые возникают естественным образом, системы могут решать проблемы, которые трудно решить обычным компьютерам. «Нам не нужно использовать алгоритмы. Такая система полностью отличается от обычного программирования. Система сама может решить проблему», — объясняет Хидетоши Нисимори, физик из Токийского технологического института. Принцип работы компьютера D-Wave был предложен Хидетоши Нисимори.
Переворачивание кубита происходит за счет квантового туннелирования. Этот эффект является естественной тенденцией, и квантовые системы должны выбирать наилучшую конфигурацию, а не второстепенную. Вы можете построить традиционную сеть, которая работает аналогично, со случайным встряхиванием, а не с туннелированием для переворачивания битов. В некоторых задачах такие сети работают лучше. Но что интересно, квантовые сети быстрее достигают оптимальных результатов при решении проблем, возникающих при машинном обучении.
Компьютер D-Wave тоже несовершенен. В текущей конфигурации компьютер D-Wave настолько шумный, что может выполнять только ограниченные операции. А алгоритмы машинного обучения по своей природе устойчивы к шуму, они могут понимать хаотичную среду реального мира, отличая котят от щенков на отвлекающем фоне. «Нейронные сети очень устойчивы к шуму», — сказал Берман.
Хартмут Невен — ученый-компьютерщик из Google, один из первых разработчиков технологии дополненной реальности и соучредитель проекта Google Glass. Позже он возглавил группу, которая начала изучать квантовую обработку информации. В 2009 году команда продемонстрировала, что ранний компьютер D-Wave может хорошо выполнять задачи машинного обучения. Они использовали компьютер в качестве однослойной нейронной сети для классификации изображений на две категории: «автомобиль» и «не автомобиль» в базе данных из 20 000 изображений Street View (помните: этот компьютер D-Wave такой же, как компьютер The 2018 The New York Times). 50-кубитная система, появившаяся в сети, была совершенно другой моделью.). Используя комбинацию компьютеров D-Wave и обычных компьютеров, команда Невена проанализировала изображения на наличие различных статистических параметров (количеств), а затем рассчитала, насколько эти параметры чувствительны к машине на изображении — обычно не очень чувствительные, но, по крайней мере, лучше, чем подбрасывание монеты (угадайте плюсы и минусы) Лучше. Определенные комбинации этих параметров позволяют точно идентифицировать автомобиль, но не конкретную модель — задача нейросети.
Команда назначила кубит каждому параметру. Если значение кубита стабильно на уровне 1, соответствующий параметр помечается как полезный, если значение кубита стабильно на уровне 0, он не помечается. Магнитное взаимодействие Кубита может кодировать требования задачи, например, включать только самые отличительные параметры, чтобы гарантировать, что окончательный выбор параметров будет максимально простым. Тест пришел к выводу, что компьютер D-Wave может идентифицировать автомобиль.
В прошлом году команда под руководством физика частиц Калифорнийского технологического института Марии Спиропулу и физика Университета Южной Калифорнии Дэниела Лидара применила алгоритм к проблеме физики элементарных частиц: классифицировала столкновения протонов как «бозоны Хиггса» и «бозоны, не являющиеся бозонами Хиггса». Команда решила изучить столкновения, которые генерируют протоны, и они использовали базовую теорию частиц, чтобы предсказать, какие свойства частиц могут характеризовать кратковременное существование бозона Хиггса, например: за пределами определенных порогов импульса. Они рассмотрели 8 свойств частиц и 28 комбинаций свойств, всего 36 сигналов-кандидатов, а затем позволили новому квантовому компьютеру USC определить лучший выбор. Компьютер определил 16 полезных переменных, 3 оптимальных. Квантовый компьютер требует меньше данных, чем стандартные процессы, для выполнения точных задач классификации. «При небольшом обучающем наборе методы квантовых вычислений более точны, чем традиционные методы в физике высоких энергий», — сказал Лидар.
Физик Калифорнийского технологического института Мария Спиропулу использует квантовое машинное обучение, чтобы найти бозон Хиггса. ▲
В декабре Ригетти продемонстрировал способ автоматической классификации объектов с помощью универсального квантового компьютера с 19 кубитами. По сути, исследователи вводили в компьютер ряд названий городов и расстояния между ними, а затем просили компьютер классифицировать города по двум географическим регионам. Сложность этой задачи заключается в том, что географический регион, к которому принадлежит город, зависит от системной классификации других городов, поэтому вся система должна решаться сразу.
Команда Ригетти присвоила каждому городу кубит, указывающий, к какой категории относится город. Благодаря взаимодействию между кубитами (в системе Ригетти взаимодействие представляет собой электрическую, а не магнитную силу) каждая пара кубитов пытается принять противоположные значения — при этом их энергия сводится к минимуму. Очевидно, что для любой системы с более чем 2 кубитами некоторые пары кубитов могут быть отнесены только к одному и тому же классу. Города, расположенные близко друг к другу, с большей вероятностью будут отнесены к одной и той же категории, потому что соседние города относятся к той же категории с меньшими потерями энергии, чем города, расположенные дальше.
Чтобы свести к минимуму энергию системы, команда Ригетти применила подход, который в чем-то похож на квантовый отжиг D-Wave. Сначала они настраивают кубит на суперпозицию всех возможных назначений кластера. Затем кубиты кратковременно взаимодействуют, чтобы заставить кубиты принимать одинаковые или противоположные значения. Затем они применили механизм, который имитирует горизонтальное магнитное поле, позволяя им переворачиваться, когда кубиты наклоняются, приближая систему к состоянию с наименьшей энергией. В конце концов, они повторяли этот двухэтапный процесс — взаимодействие и переключение — до тех пор, пока энергия системы не была сведена к минимуму и город не был разделен на две отдельные области.
Эти задачи классификации полезны, но просты. На переднем крае машинного обучения находятся генеративные модели, которые не только распознают котят и щенков, но и создают новые примитивные модели — животных, которых никогда не существовало, но которые так же очаровательны, как настоящие животные. Модель может даже самостоятельно различать «котенка» и «щенков» или исправлять изображения без хвостов или когтей. «В машинном обучении эти методы очень мощные и полезные, но их очень сложно применять», — сказал Мохаммад Амин, главный научный сотрудник D-Wave. Квантовые вычисления, если их можно применить к генеративным моделям, наверняка будут очень популярны.
D-Wave и другие исследовательские группы уже приступили к решению этой загадки. Обучить генеративную модель — значит отрегулировать (магнитное или электрическое) взаимодействие между кубитами, чтобы сеть могла воспроизводить некоторые данные экземпляра. Для этого мы можем использовать комбинацию нейронных сетей и обычных компьютеров. Нейронная сеть берет на себя сложную задачу понять, что означают выбранные взаимодействия для окончательной конфигурации сети, а затем компьютер использует эту информацию для настройки взаимодействий между кубитами. В прошлом году Алехандро Пердомо-Ортис, исследователь из лаборатории квантового искусственного интеллекта НАСА, и его команда использовали систему D-Wave для обработки изображений рукописных цифр на бумаге. В результате система распознала 10 категорий, присвоила категорию каждой из 10 цифр от 0 до 9, а также сгенерировала свои рукописные цифры.
▌Узкое место квантового компьютера
К сожалению, ваш процессор не имеет значения, насколько вы мощный, если вы не можете загружать в него данные. В матричной алгебре простая операция может обработать матрицу из 16 чисел, но для загрузки матрицы требуется 16 операций. «Подготовка квантового состояния была полностью упущена из виду — загрузка обычных данных в квантовое состояние — самый важный шаг, я думаю», — говорит Мария Шульд, исследователь стартапа Xanadu, занимающегося квантовыми вычислениями. Она была одной из первых, кто получил докторскую степень в области квантового машинного обучения. Когда мы внедряем системы машинного обучения в физические машины, мы часто сталкиваемся с дилеммой: как внедрить проблему в сеть кубитов, как заставить кубиты правильно взаимодействовать.
После загрузки данных вам необходимо сохранить данные и убедиться, что квантовая система взаимодействует с данными, не мешая текущим вычислениям. Ллойд и его команда предложили квантовую оперативную память, в которой используются фотоны, но в настоящее время нет аналогов сверхпроводящих кубитов или захваченных ионов — технологий, используемых в передовых квантовых компьютерах. «Помимо создания самого квантового компьютера, это дополнительная техническая задача. Из моих бесед с некоторыми экспериментаторами я вижу, что они относятся к этим проблемам с трепетом. Потому что они не знают, как начать строить такой квантовый компьютер. Компьютер», — сказал Ааронсон.
Последний вопрос: как экспортировать данные? Это означает обнаружение квантового состояния компьютера, не только возвращающее одно случайно выпавшее число за раз, но и разрушающее все состояние, стирающее остальные данные до того, как вы сможете их вернуть. Вам просто нужно выполнять алгоритм снова и снова, чтобы получить всю информацию обратно.
Но не без надежды. В некоторых задачах можно воспользоваться квантовой интерференцией. То есть можно спроектировать алгоритм так, чтобы неправильные ответы уходили сами по себе, а правильные закреплялись. Таким образом, при обнаружении квантового состояния компьютер выдаст вам желаемое число, а не случайное число. Но только несколько алгоритмов (таких как алгоритм поиска грубой силы) хорошо используют квантовую интерференцию, и скорость их умеренная.
В некоторых задачах исследователи нашли быстрые и простые способы ввода и вывода данных. В 2015 году Ллойд, Сильвано Гарнероне из Университета Ватерлоо в Канаде и Паоло Занарди из Университета Южной Калифорнии продемонстрировали, что в некоторых классах статистического анализа нет необходимости вводить или хранить весь набор данных. Также, когда достаточно нескольких ключевых значений, нет необходимости читать все данные. Например, технологические компании используют машинное обучение, чтобы предлагать пользователям программы или продукты на основе огромных данных о потребительских привычках. «Netflix или Amazon (Amazon) не нужно брать матрицу, которая генерируется повсеместно, все, что им нужно делать, — это генерировать рекомендации для пользователей», — сказал Ааронсон.
В связи с этим возникает вопрос: если квантовые компьютеры хороши только для определенных конкретных задач, могут ли обычные компьютеры также хорошо справляться с этими задачами? Это большая нерешенная проблема в области квантовых вычислений. Ведь обычные компьютеры тоже очень мощные. Распространенный метод работы с большими наборами данных, случайное принятие, по своей природе очень похож на квантовые компьютеры, то есть независимо от того, какие операции выполняются внутри системы, окончательный результат является случайным. «Многие алгоритмы, над которыми я работал, часто заставляют меня думать: «Они потрясающие, теперь мы можем ускорить процесс», — говорит Шульд. Но я написал алгоритм выборки, который работал на обычном компьютере просто для развлечения. , и я обнаружил, что с помощью алгоритмов сэмплирования можно добиться того же эффекта».
Если вы оглянетесь назад на то, что до сих пор делало квантовое машинное обучение, вы увидите, что все они отмечены звездочкой. Возьмем, к примеру, компьютер D-Wave: когда дело доходит до классификации изображений автомобилей и частиц Хиггса, компьютер D-Wave не быстрее обычного компьютера. «Один вопрос, который мы не рассмотрели в этой статье, — это квантовое ускорение, — сказал Алекс Мотт, ученый-компьютерщик из команды Google DeepMind. Раньше он был частью исследовательской группы Хиггса. Методы матричной алгебры (например, алгоритм Харроу-Хассидима-Ллойда) достигают квантового ускорения только в том случае, если матрица разрежена (большинство элементов равно нулю). «Действительно ли разреженные наборы данных интересны для машинного обучения? Никто никогда не задавался этим вопросом», — сказал Шульд.
▌Квантовый интеллект
Сказав это, технологические компании очень довольны случайным прогрессом в существующих методах. «Ни одно из преимуществ, которые мы видим, не является огромным; они не экспоненциальны, но они, по крайней мере, квадратичны», — сказал Натан Виб из Исследовательского института квантовых вычислений Microsoft. «Если бы квантовые компьютеры были достаточно большими и быстрыми, мы могли бы произвести революцию во многих областях машинного обучения». Применяя эти системы, ученые-компьютерщики могут решить некоторые теоретические загадки — являются ли эти системы по своей природе быстрее и почему.
Шульд также видит возможности для инноваций в области квантовых вычислений в программном обеспечении. Машинное обучение — это не просто вычислительная задача, это переплетение множества задач, каждая из которых имеет свою особую структуру. «Алгоритмы, написанные людьми, удалены от вещей, которые делают машинное обучение веселым и красивым. Вот почему я начал изучать другие подходы и думать: если у вас есть квантовый компьютер (маленький), какое машинное обучение он может запустить? Модель? модель еще не изобретена», — сказал Шульд. Если физики хотят произвести впечатление на экспертов по машинному обучению, им необходимо исследовать прорывы в дополнение к созданию квантовых версий существующих моделей.
Сейчас многие нейробиологи считают, что структура человеческого разума отражает потребности тела, и действительно, системы машинного обучения охватывают тысячи таких систем. Изображения, язык и большинство других данных, которые обрабатывают эти системы, поступают из реального мира, и эти данные отражают различные характеристики мира. Точно так же системы квантового машинного обучения являются всеобъемлющими, отражая мир, намного больший, чем наш. Нет сомнений в том, что системы квантового машинного обучения будут блистать в обработке квантовых данных. Когда данные — это не изображение, а результат физического или химического эксперимента, квантовые компьютеры будут творить чудеса. Если проблема ввода данных будет решена, традиционные компьютеры полностью устареют.
Первая партия систем машинного обучения может помочь в разработке более поздних систем, что создает хороший цикл самоссылки. «Мы можем использовать такую систему для создания квантового компьютера. В некоторых задачах отладки это единственный способ для нас», — сказал Виб. Возможно, эти системы смогут даже исправить наши ошибки. Не говоря уже о том, является ли человеческий мозг квантовым компьютером — это очень обсуждаемый вопрос, поскольку иногда мозг ведет себя так, что кажется, что он квантовый компьютер. Как мы все знаем, человеческое поведение неотделимо от ситуации, существующий выбор определяет наши предпочтения, что на самом деле противоречит нашей логике. С этой точки зрения мы действительно похожи на квантовые частицы. «То, как люди задают вопросы, и упор на порядок — очень типичные свойства квантовых наборов данных», — сказал Пердомо-Ортис. Таким образом, системы квантового машинного обучения могут помочь нам в изучении когнитивных искажений человека.
Нейронные сети и квантовые процессоры имеют одну общую черту: они действительно работают. Обучение нейронной сети ни в коем случае не является чем-то само собой разумеющимся, и за последние несколько десятилетий большинство людей задавались вопросом, можно ли это сделать. Точно так же трудно сказать, можно ли использовать квантовую физику для вычислений, потому что мы все еще так мало знаем об уникальных возможностях квантовой физики. Но и нейронные сети, и квантовые процессоры были реализованы не всегда, но сверх наших ожиданий. Имея это в виду, сочетание квантовой физики и нейронных сетей, вероятно, также будет сиять в будущем.
Автор | Джордж Массер