An Invitation to Washington
Три с половиной недели назад я получил электронное письмо с вопросом, не хочу ли я давать показания на слушаниях по делуПодкомитет Комитета Сената США по торговле по коммуникациям, технологиям, инновациям и Интернету. Given that the title of the hearingбыла «Оптимизация взаимодействия: понимание использования технологии убеждения на интернет-платформах». Я не был уверен, почему я буду иметь значение.
Но затем электронное письмо продолжилось: «Слушание предназначено для изучения, среди прочего, того, являются ли алгоритмическая прозрачность или алгоритмическое объяснение политическими вариантами, которые Конгресс должен рассматривать». об «алгоритмической прозрачности» и «algorithmic explanation", иtheir implications for the deployment of artificial intelligence.
Обычно я держусь подальше от всего, что связано с политикой, но выяснить, как мир должен взаимодействовать с ИИ, действительно важно, поэтому я решил, что, хотя это и былоlogistically a bit difficult-Я должен выполнить свой гражданский долг и поехать в Вашингтон для дачи показаний.
Understanding the Issues
So what was the hearing really about? For me, it was in large measure an early example of reaction to the realization that, yes, AIs are starting to run the world. Billions of people are being fed content that is basically selected for them by AIs, and there are mounting concerns about this, as reported almost every day in the media.
Умно ли ИИ взламывают нас, людей, чтобы мы вели себя определенным образом? Какие предубеждения есть у ИИ относительно того, на что похож мир или каким, по нашему мнению, должен быть мир? , так или иначе? И когда есть на самом деле «люди за кулисами», детально контролирующие действия ИИ?
Не помогает и то, что в каком-то смысле ИИ получают гораздо больше свободы действий, чем могли бы, потому что люди, которые их используют, на самом деле не являются их клиентами. будет работать это Таким образом, в современном мире многие из самых успешных компаний в Интернете, включая Google, Facebook, YouTube и Twitter, получают доход не от своих пользователей, а от рекламодателей, которые через них обращаются к своим пользователям.
У всех этих бизнесов также есть общее то, что они по сути являются тем, что можно назвать «автоматизированным бизнесом по выбору контента»: они работают, получая большие объемы контента, которые они не создавали сами, а затем используя то количество, которое ИИ автоматически выбирать, какой контент доставлять или предлагать любому конкретному пользователю в любой момент времени, на основе данных, которые они собрали об этом пользователе.Часть того, что происходит, по-видимому, оптимизирована, чтобы предоставить пользователям хороший опыт (что бы это ни могло означает), но часть его также оптимизирована для получения дохода от реальных клиентов, то есть рекламодателей. И также растет подозрение, что ИИ каким-то образом предвзято относится к тому, что он делает — может быть, потому, что кто-то явно сделал это, или потому что Это как-то так развивалось.
"Открыть ИИ"?
Так почему бы просто не «открыть ИИ» и не посмотреть, что он делает внутри?Ну, это то, что касается идеи алгоритмической прозрачности, упомянутой в приглашении на слушания.
И проблема в том, что нет, это не сработает.Если мы хотим серьезно использовать мощь вычислений — и ИИ — то неизбежноне будет «человечески объяснимой» историио том, что происходит внутри.
Итак, хорошо, если вы не можете проверить, что происходит внутри ИИ, как насчет того, чтобы наложить ограничения на то, что делает ИИ? Ну, для этого вы должны сказать, что хотите. Какое правило для баланса между противоположными видами просмотров вы хотите? Сколько вы позволяете людям быть расстроенным тем, что они видят?И так далее.
И здесь есть две проблемы: во-первых, чего хотеть, а во-вторых, как это описать. В прошлом мы могли представить себе описание подобных вещей только с помощью традиционных юридических правил, написанных на юридическом языке. ИИ для автоматического следования эти правила, возможно, миллиарды раз в секунду, этого недостаточно: вместо этого нам нужно что-то, что ИИ может понять внутренне.
И, по крайней мере, в этом вопросе я думаю, что мыmaking good progress.Потому что — благодаря нашей более чем 30-летней работе надWolfram Language-мы теперь начинает иметьcomputational languageкоторый имеет возможность сформулировать «computational contracts" которые могут указывать соответствующие виды ограничений в вычислительных терминах, в форме, которую люди могут написать и понять, и которую машины могут автоматически интерпретировать.
Но даже несмотря на то, что у нас начинают появляться инструменты, остается огромный вопрос о том, какими будут «вычислительные законы» для ИИ автоматического выбора контента.
A lot of the hearing ultimately revolved around Section 230 of the 1996 Communications Decency Act— в котором указывается, какие виды контента компании могут блокировать без теряют свой статус «нейтральных платформ». Существует список довольно бесспорно блокируемых видов контента. Но затем предложение заканчивается фразой «или иным образом нежелательным [контентом]». Что это значит? Означает ли это контент, поддерживающий нежелательный точки зрения?Чье определение "неугодного"?И т.д.
Well, one day things like Section 230по необходимости будут не юридические законы, а вычислительные законы. например, тот или иной классификатор машинного обучения, обученный на той или иной выборке интернета, будет использоваться для определения того или иного.
Однако мы еще не там. Мы только чтоbeginning to be able to set up computational contractsдля гораздо более простых вещей, таких как деловые ситуации.fueled by blockchain-Я ожидается, что в ближайшие годы это ускорится, но пройдет некоторое время, прежде чем Сенат США начнет регулярно обсуждать строки кода в вычислительных законах.
So, OK, what can be done now?
A Possible Path Forward?
Чуть больше недели назад я понял, что в основном это то, что я уже описал здесь. Но это означало, что я смотрел на слушание и в основном говорил только негативные вещи. «Извините, это не сработает. Вы не можете этого сделать. говорит, что это невозможно. Решение — годы в будущем».
И, как человеку, который гордится тем, что превращает, казалось бы, невозможное в возможное, меня это не устраивало, поэтому я решил, что мне лучше попытаться выяснить, могу ли я на самом деле увидеть прагматичный, ближайший путь вперед. Сначала я пытался думать о чисто технологические решения.Но вскоре я в основном убедил себя, что никакое такое решение не сработает.
Итак, с некоторой задержкой, я решил, что мне лучше начать думать о других видах решений.К счастью, в моей компании и в моем окружении есть немало людей, с которыми я мог бы поговорить об этом, хотя вскоре я обнаружил, что они часто были решительно настроены. противоречивый Но через некоторое время промелькнула идея.
Why does every aspect of automated content selection have to be done by a single business? Why not open up the pipeline, and create a market in which users can make choices for themselves?
Одно из ограничений, которое я наложил на себя, заключается в том, что мое решение не могло отвлечь внимание от впечатляющей разработки и монетизации существующих предприятий по автоматизированному выбору контента. think вполне может удовлетворить это ограничение.
Одна из моих идей заключалась в том, чтобы представить то, что я называю «поставщиками окончательного ранжирования»: третьи стороны, которые берут предварительно обработанные векторы функций из базовой платформы контента, а затем используют их для окончательного ранжирования элементов любым удобным для них способом. включала введение «поставщиков ограничений»: третьих лиц, которые предоставляют ограничения в форме вычислительных контрактов, которые вставляются в цикл машинного обучения автоматизированной системы выбора контента.
Важной особенностью обоих этих решений является то, что пользователям не нужно доверять единственному ИИ в бизнесе автоматизированного выбора контента.Они могут фактически выбрать свой собственный бренд ИИ, предоставленный третьей стороной, которой они доверяют, чтобы определить, какой контент им нужен. буду на самом деле отдать.
Кем могут быть эти сторонние поставщики? Это могут быть существующие медиа-организации, некоммерческие организации или стартапы. Или они могут быть чем-то совершенно новым. чтобы определить — или представить — бренды, которым пользователи будут доверять, чтобы решить, каким может быть окончательный список элементов в их новостной ленте, или рекомендации видео, или результаты поиска, или что-то еще.
Социальные сети получают свою пользу от того, что они монолитны: к ним подключены «все». Вместо этого может существовать целый рынок ИИ, между которыми пользователи могут свободно выбирать.
И вот еще один важный момент: прямо сейчас нет постоянного давления со стороны рынка на окончательные детали того, как контент отбирается для пользователей, не в последнюю очередь потому, что пользователи не являются конечными покупателями (действительно, сейчас практически единственное давление исходит от PR-извержения и инциденты.) Но если экосистема изменится и появятся третьи стороны, единственная цель которых — обслуживать пользователей и предоставлять конечный контент, который они хотят, тогда начнут действовать реальные рыночные силы, которые будут стимулировать инновации — и потенциально добавить больше ценности.
Could It Work?
AI provides powerful ways to automate the doing of things. But AIs on their own не могут окончательно решить, что они хотят делатьЭто должно прийти извне — из люди определяют цели. Но на практическом уровне, где эти цели должны быть установлены? Должны ли они просто исходить — монолитно — от автоматизированного бизнеса по выбору контента? Или у пользователей должно быть больше свободы и больше выбора?
Кто-то может сказать: «Почему бы не позволить каждому пользователю самому все настраивать?» Ну, проблема в том, что автоматизированный подбор контента — дело сложное, и — как бы я ниcomputational language literacy-Я не думаю, что каждый сможет настроить все в деталях для себя. Вместо этого я думаю, что лучше иметь дискретных сторонних поставщиков, которые настраивают вещи таким образом, чтобы они понравились какой-то конкретной группе. из пользователи.
Тогда в игру могут вступить стандартные рыночные силы. Несомненно, результатом будет даже более высокий уровень общего успеха доставки контента пользователям, которые его хотят (и его монетизация). Но этот рыночный подход также решает некоторые другие проблемы, связанные с этим. с «единой точкой отказа» монолитного ИИ.
Например, с монолитным ИИ, если кто-то придумает, как распространять какой-то плохой контент, он будет распространяться везде, а со сторонними провайдерами есть большая вероятность, что он распространится только через некоторых из них.
Прямо сейчас много недовольных тем, что людей просто «забанили» на определенных контент-платформах, но с рынком сторонних провайдеров запрет больше не является предложением «все или ничего»: одни могут кого-то забанить, а другие провайдеры. может не.
Хорошо, но есть ли в моей идее «фатальные недостатки»? Люди могут возразить, что это технически сложно сделать. Я не знаю, в каком состоянии находятся кодовые базы в крупных компаниях, занимающихся автоматизированным отбором контента. Но я уверен, что с управляемыми усилиями , подходящее Можно настроить API и т. д. (И это может даже помочь этим предприятиям, заставив некоторую очистку и модернизацию кода).
Другой вопрос может заключаться в следующем: как будут стимулироваться сторонние поставщики? Я могу представить, что некоторые организации просто являются сторонними поставщиками в качестве общедоступной услуги, но в других случаях им придется платить комиссию от базовой контентной платформы. Теория, однако, заключается в том, что хорошая работа сторонних поставщиков контента расширит весь рынок и сделает их «стоящими своих комиссионных». эти жалобы и проблемы, которые они в настоящее время получают.
Что, если есть сторонний провайдер, который повышает рейтинг контента, который некоторым не нравится? Это, несомненно, произойдет. Но дело в том, что это рынок, поэтому динамика рынка может работать.
Другое возражение состоит в том, что моя идея еще больше усугубляет тенденцию современных технологий к тому, что люди живут внутри «пузырей контента», где они никогда не расширяют свою точку зрения. Ну, конечно, могут быть провайдеры, которые предлагают более широкий контент. могут выбирать провайдеров «контентных пузырей».Хорошо, однако, то, что они выбирают их, и они знают, что делают это, точно так же, как они знают, что предпочитают смотреть один телеканал, а не другой.
Конечно, для функционирования общества важно, чтобы у людей был какой-то уровень общих ценностей. Но какими должны быть эти общие ценности и кто должен их решать? В тоталитарной системе это в основном правительство. Прямо сейчас, при нынешнем монолитное состояние автоматизированного выбора контента, можно утверждать, что это бизнес по автоматическому выбору контента.
Если бы я руководил одним из таких предприятий, я бы, конечно, не хотел, чтобы меня устраивали в качестве морального арбитра для всего мира, это кажется беспроигрышной ролью. наносит ущерб жизнеспособности бизнеса. Да, пользователи получают больше контроля, как, возможно, и должны были иметь, учитывая, что они являются топливом, которое заставляет бизнес работать. Но основная бизнес-модель по-прежнему совершенно нетронута. И есть новый рынок, который открывается для сторонних поставщиков, потенциально поставляя все виды новой экономической ценности.
What Should I Do?
В начале прошлых выходных то, что я только что описал, было в основном состоянием моего мышления. Но что мне с этим делать? Была ли какая-то проблема, которую я не заметил? Не попал ли я в какую-то политическую или деловую ловушку? т т конечно. Но казалось, что нужна была какая-то идея в этой области, и у меня была идея, так что я действительно должен рассказать о ней людям.
So I quickly wrote up the written testimony for the hearing, and sent it in by the deadline on Sunday morning. (The full text of the testimony is included at the end of this piece.)
The Hearing Itself
This morning was the hearing itself. It was in the same room as the hearing Mark Zuckerberg did last fall. The staffers were saying that they expected a good turnout of senators, and that of the 24 senators on the subcommittee (out of 100 total in the Senate), they expected about 15 to show up at some point or another.
Сначала штатные сотрудники расставляли таблички с именами сенаторов. Я пытался понять, что это за расстановка. А потом я понял! Это была подковообразная конфигурация, и сенаторы-республиканцы были на правой стороне подковы, были слева.Там действительно есть правое и левое крыло!(Да я явно мало смотрю C-SPAN, а то бы уже знал это.)
Когда мы вчетвером на панели рассаживались, к нам подошла одна из сенаторов (Марша Блэкберн [R-TN]) и начала говорить о вычислительной несводимости. Ух ты, подумал я, это будет интересно. заумная наука концепция находит свой путь в Сенат.
У всех было пять минут, чтобы произнести вступительное слово, и перед каждым стоял небольшой таймер обратного отсчета.Я немного рассказал о науке и технологии ИИ и его объяснимости.Я упомянул вычислительные контракты и концепцию конституции ИИ. Потом я сказал, что не хочу просто объяснять, что все невозможно, и дал краткий обзор своих идей для решения, довольно нехарактерно для меня, я закончил за целую минуту до истечения времени.
Формат выступлений и вопросов был пятиминутный на сенатора.Темы поднимались самые разные.Я быстро понял,хотя,к сожалению,я действительно имел три разные вещи,о которых я говорил(необъяснимость,вычислительная законы и мои идеи относительно краткосрочного решения). Оглядываясь назад, возможно, мне следовало сосредоточиться на краткосрочном решении, но мне казалось странным подчеркивать то, о чем я только что подумал на прошлой неделе, а не то, о чем я думал. уже много лет.
Тем не менее, было увлекательно — и предвещало будущее — видеть серьезные вопросы, касающиеся того, что составляет философию вычислений, обсуждаемых в Сенате.small hearing at the Senate back in 2003 (my only other such experience) about the ideas in A New Kind of ScienceНо тогда это было в значительной степени на «научном пути», а теперь вся дискуссия определенно стала мейнстримом.
Я не мог отделаться от мысли, что наблюдаю, как концепция вычислений начинает обретать зрелость. То, что раньше было эзотерическими вопросами в теории вычислений, теперь стало тем, о чем сенаторы обсуждали при написании законов. сенаторы упомянули атомную энергию и сравнили ее с ИИ, но на самом деле ИИ станет чем-то гораздо более важным для всего будущего нашего вида.
Это позволяет нам делать так много. Но все же это заставляет нас противостоять тому, что мы хотим делать и кем мы хотим быть. Сегодня для Сената редко и экзотично обсуждать вопросы ИИ. Со временем я подозреваю, что ИИ и его многие последствия будут доминирующей темой в много дискуссий в Сенате. Это только начало.
I wish we were ready to really start creating an AI Constitution, Но мы не (и это не помогает, что у нас нет ИИ-аналога несколько тысяч лет политической истории человечества, которые были доступны в качестве ориентира, когда разрабатывалась Конституция США.) Тем не менее, вопрос за вопросом, я подозреваю, что мы будем приближаться к моменту, когда наличие последовательной Конституции ИИ станет необходимостью. Нет сомневаюсь, что в разных сообществах и разных странах будут разные, но однажды группа, подобная той, которую я видел сегодня, со всеми вовлеченными разнообразными и иногда яркими персонажами, в конечном итоге должна будет выяснить, как мы, люди, взаимодействуем друг с другом. с ИИ и вычислительным миром.
The Written Testimony
Summary
Автоматизированный выбор контента интернет-компаниями становится все более спорным, что приводит к призывам сделать его более прозрачным или ограниченным. Я объясняю некоторые из связанных с этим сложных интеллектуальных и научных проблем, а затем предлагаю два возможных технических и рыночных предложения для дальнейших действий. Оба основаны на на предоставлении пользователям выбора относительно того, кому доверять конечный контент, который они увидят, — в одном случае представляя то, что я называю «поставщиками окончательного ранжирования», а в другом — то, что я называю «поставщиками ограничений».
The Nature of the Problem
There are many kinds of businesses that operate on the internet, but some of the largest and most successful are what one can call automated content selection businessesFacebook, Twitter, YouTube и Google — все это примеры. контент, который создали другие, но ключевая часть их ценности связана с их способностью (в значительной степени) автоматически выбирать, какой контент они должны предоставлять данному пользователю в данное время — будь то в новостных лентах, рекомендациях, результатах веб-поиска, или рекламы.
Какие критерии используются для определения выбора контента? Частью истории, безусловно, является предоставление пользователям качественных услуг. Но платежеспособными клиентами для этих компаний являются не пользователи, а рекламодатели, что обязательно является ключевой целью этих компаний. должна быть направлена на максимизацию дохода от рекламы. Все чаще возникают опасения, что эта цель может иметь неприемлемые последствия с точки зрения выбора контента для пользователей. может оказывать необоснованное влияние на другие виды бизнеса (например, распространение новостей) или в таких областях, как политика.
В последние годы все более изощренными становятся методы отбора контента — с использованием машинного обучения, искусственного интеллекта и т. д. Значительная часть их эффективности — и экономического успеха — обусловлена их способностью использовать обширные данные о пользователи и их предыдущая деятельность.Но растет неудовлетворенность и, в некоторых случаях, подозрения по поводу того, что происходит внутри процесса выбора контента.
This has led to a desire to make content selection more transparent, and perhaps to constrain aspects of how it works. As I will explain, these are not easy things to achieve in a useful way. And in fact, they run into deep intellectual and scientific issues, that are in some ways a foretaste of problems we will encounter ever more broadly as artificial intelligence becomes more central to the things we do. Satisfactory ultimate solutions will be difficult to develop, but I will suggest here two near-term practical approaches that I believe significantly address current concerns.
How Automated Content Selection Works
Независимо от того, имеете ли вы дело с видео, публикациями, веб-страницами, новостями или, если на то пошло, рекламой, основная проблема автоматического выбора контента (ACS) в основном всегда одна и та же: доступно много элементов контента (возможно, даже миллиарды). и каким-то образом нужно быстро решить, какие из них «лучшие» для показа данному пользователю в данное время. Нет никакого фундаментального принципа, чтобы сказать, что означает «лучший», но на практике это обычно в конечном итоге определяется с точки зрения того, что максимизирует пользователя. клики, или доход от кликов.
The major innovation that has made modern ACS systems possible is the idea of automatically extrapolating from large numbers of examples. The techniques have evolved, but the basic idea is to effectively deduce a model of the examples and then to use this model to make predictions, for example about what ranking of items will be best for a given user.
Поскольку это будет иметь отношение к предложениям, которые я собираюсь сделать позже, позвольте мне объяснить здесь немного больше о том, как большинство современных систем ACS работают на практике. функции (или "сигналы") для каждого элемента. Если бы это делал человек, он мог бы использовать такие функции, как: "Какая продолжительность видео? Это развлечение или образование? Оно радостное или грустное?" объем обрабатываемых данных — это машина, это, и часто это также машина, выясняющая, какие функции извлечь.Как правило, машина оптимизирует функции, которые облегчают ее конечную задачу - независимо от того, есть ли понятная человеку интерпретация или нет (и это почти всегда не так). того, что функции представляют.
В качестве примера, вот буквы алфавита, автоматически раскладываемые машиной в «пространстве функций», в котором буквы, «выглядящие похожими», появляются рядом:
Откуда машина знает, какие признаки нужно извлечь, чтобы определить, будут ли вещи «выглядеть похожими»? Типичный подход — дать ей миллионы изображений, помеченных тем, что они собой представляют («слон», «чашка» и т. д.) , а потом от увиденного изображения помечены одинаковыми тегами (хотя в деталях они выглядят по-разному), машина способна — используя методы современного машинного обучения — идентифицировать признаки, которые можно использовать для определения того, насколько похожими изображения чего-либо следует считать.
Итак, давайте представим, что вместо букв алфавита, размещенных в двухмерном функциональном пространстве, у нас есть миллион видео, размещенных в 200-мерном функциональном пространстве. как-то похожие должны быть рядом в этом функциональном пространстве.
Но для конкретного человека, какие видео он, скорее всего, захочет посмотреть?Ну, мы можем сделать с людьми то же самое, что и с видео: мы можем взять данные, которые мы знаем о каждом человеке, и извлечь некоторый набор функций. «Похожие люди» тогда бы быть рядом в «людском пространстве» и так далее.
Но теперь возникает проблема "окончательного ранжирования". Учитывая особенности видео и характеристики людей, какие видео должны быть оценены как "лучшие" для тех или иных людей? Часто на практике существует первоначальный грубый рейтинг. Но затем, как только мы получим конкретное определение «лучших» — или достаточное количество примеров того, что мы подразумеваем под «лучшими», — мы можем использовать машинное обучение, чтобы изучить программу, которая будет смотреть на особенности видео и людей и эффективно видеть, как их использовать для оптимизации окончательного рейтинга. .
Настройка немного отличается в разных случаях, и есть много деталей, большинство из которых являются собственностью конкретных компаний, но современные системы СКУД, работающие с огромными объемами данных на очень высокой скорости, являются триумфом инженерной мысли. , и выдающийся пример силы методов искусственного интеллекта.
Это «просто алгоритм»?
Когда кто-то слышит термин «алгоритм», он склонен думать о процедуре, которая будет работать точным и логичным образом, всегда давая правильный ответ, не подверженный влиянию человека. шаги, которые человек мог бы, в случае необходимости, легко проследить.
Но это довольно далеко от того, как работают современные ACS-системы: они не решают таких же точных вопросов («Какое видео мне посмотреть дальше?» — просто нет чего-то с точным, четко определенным ответом). используемые фактические методы делают фундаментальным использование машинного обучения, которое не имеет четко определенной структуры или объяснимого пошагового характера, связанного с тем, что люди традиционно считают «алгоритмом». как правило, небольшие и автономные, машинное обучение неизбежно требует больших объемов данных, предоставляемых извне.
В прошлом компьютерные программы почти всегда писались непосредственно людьми (за некоторыми заметными исключениями в моей собственной научной работе).Но ключевая идея машинного обучения заключается в том, чтобы вместо этого создавать программы автоматически, путем «обучения программы» из большое количество примеров. Наиболее распространенным типом программы, к которой применяется машинное обучение, является так называемая нейронная сеть. Хотя изначально нейронные сети были вдохновлены мозгом, нейронные сети представляют собой чисто вычислительные конструкции, которые обычно определяются большими массивами чисел, называемыми весами.
Представьте, что вы пытаетесь создать программу, которая распознает изображения кошек и собак. Вы начинаете с множества конкретных изображений, которые были идентифицированы — обычно людьми — как кошки или собаки. Затем вы «обучаете» нейронную сеть с помощью показывая Он использует эти картинки и постепенно корректирует свои веса, чтобы правильно идентифицировать эти картинки. фото раньше, он все равно (почти наверняка) скажет, что это кошка.
Что она будет делать, если вы скормите ей изображение кота, одетого как собака? Непонятно, каким должен быть ответ, но нейронная сеть все равно уверенно выдаст какой-то результат — он каким-то образом получен из обучающих данных, которые она было дано.
Итак, в таком случае, как можно сказать, почему нейронная сеть сделала то, что она сделала? Ну, это сложно. Все эти веса внутри сети были изучены автоматически, никто не устанавливал их явно. Это очень похоже на случай извлечения Особенности из изображений букв выше.Можно использовать эти функции, чтобы сказать, какие буквы похожи, но нет никакого «человеческого объяснения» (например, «подсчитайте количество петель в букве») того, что представляет собой каждая из функций.
Можно ли создать объяснимую программу «кошка против собаки»? В течение 50 лет большинство людей думали, что задача типа «кошка против собаки» просто не из тех, с которыми компьютеры могли бы справиться. Но современное машинное обучение сделало это возможным. — изучая программу, а не заставлять людей ее явно писать.И есть фундаментальные причины ожидать, что вообще не может быть объяснимой версии — и что если кто-то собирается сделать уровень автоматического выбора контента, который люди стали привыкли, то нельзя ожидать, что это будет широко объяснимо.
Иногда можно услышать, что автоматизированный выбор контента просто «выполняется алгоритмом», подразумевая, что он каким-то образом справедлив и беспристрастен и не подлежит манипуляциям со стороны человека. методы обучения, которые не похожи на традиционные точные алгоритмы.
Важным моментом в методах машинного обучения является то, что по своей природе они основаны на обучении на примерах, и результаты, которые они дают, неизбежно зависят от того, какие примеры были использованы.
И здесь все становится сложнее.Представьте, что мы тренируем программу «кошка против собаки».Но допустим, что по какой-то причине среди наших примеров есть пятнистые собаки, но нет пятнистых кошек.Что будет делать программа, если она покажет пятнистый кот? успешно распознает форму кошки, но вполне вероятно, что на основе пятен он решит, что видит собаку.
Так можно ли как-то гарантировать, что таких задач, сознательно или неосознанно введенных, не существует? В конечном счете ответ отрицательный, потому что нельзя знать все о мире. Является ли отсутствие пятнистых кошек в обучающей выборке ошибка, или в мире просто нет пятнистых кошек?
Можно сделать все возможное, чтобы найти правильные и полные тренировочные данные, но никогда не удастся доказать, что он преуспел.
Но допустим, что мы хотим обеспечить какое-то свойство наших результатов.Почти во всех случаях это будет вполне возможно — либо путем модификации обучающей выборки, либо нейронной сети.Например, если мы хотим убедиться, что пятнистые кошки не остались в стороне, мы можем просто настаивать, скажем, на том, что в нашем обучающем наборе есть равное количество пятнистых и непятнистых кошек Это может быть неверным представлением того, что на самом деле верно в мире, но мы все же можем выбрать обучение нашей нейронной сети на этой основе.
В качестве другого примера предположим, что мы выбираем изображения домашних животных. Сколько кошек должно быть там по сравнению с собаками? Должны ли мы основываться на количестве изображений кошек и собак в Интернете? Или как часто люди ищут кошек по сравнению с собаками? .собаки?или сколько кошек и собак зарегистрированы в Америке? Конечного «правильного ответа» не существует. Но если мы захотим, мы можем указать ограничение, которое говорит, что должно произойти.
На самом деле это и не «алгоритм» в традиционном смысле — не в последнюю очередь потому, что речь идет не об абстрактных вещах, а о реальных вещах в мире, таких как кошки и собаки. вовлеченный in в течение 30 с лишним лет) — это создание вычислительного языка, который позволяет говорить о вещах в мире точным способом, который можно сразу запустить на компьютере.
В прошлом такие вещи, как юридические контракты, должны были быть написаны на английском (или «юридическом») языке.Несколько вдохновленные смарт-контрактами блокчейна, теперь мы приближаемся к тому моменту, когда мы можем писать автоматически исполняемые вычислительные контракты не на человеческом языке. но на вычислительном языке.И если мы хотим определить ограничения на обучающие наборы или результаты автоматического выбора контента, вот как мы можем это сделать.
Issues from Basic Science
Почему трудно найти решение проблем, связанных с автоматическим отбором контента?Помимо всех деловых, социальных и политических проблем, есть также некоторые глубокие проблемы фундаментальной науки. Вот список некоторых из этих проблем. Предвестникам этих проблем почти столетие, но они прояснились совсем недавно (частично благодаря моей собственной работе), и хотя они не сформулированы (или названы), как здесь, я не знаю. не верю, что любой из них на данный момент спорны, хотя для того, чтобы смириться с ними, требуется значительный сдвиг в интуиции по сравнению с тем, что существует без современного вычислительного мышления.
Data Deducibility
Даже если вы чего-то явно не знаете (скажем, о ком-то), это почти всегда можно вывести статистически, если имеется достаточно других связанных данных.
Что такое гендерная идентичность конкретного человека, этническая принадлежность, политические убеждения и т. д.? должны быть лучшие ответы.
Все люди разные в деталях, но дело в том, что между людьми достаточно много общего и корреляций, что в принципе неизбежно, что при достаточном количестве данных можно выяснить почти любой атрибут человека.
Основные математические методы для этого уже были известны из классической статистики, но теперь это стало реальностью благодаря доступности гораздо большего количества данных о людях в цифровой форме, а также способности современного машинного обучения легко обрабатывать данные. работать не только с числовыми данными, но и с такими вещами, как текстовые данные и данные изображений.
Каковы последствия вездесущей дедуктивности данных? Это означает, что бесполезно блокировать определенные фрагменты данных — скажем, в попытке избежать предвзятости, — потому что, по сути, всегда можно сделать вывод, что это были за заблокированные данные. что это можно сделать намеренно; внутри системы машинного обучения это часто происходит автоматически и незаметно.
Computational Irreducibility
Even given every detail of a program, it can be arbitrarily hard to predict what it will
или не будет делать
Можно подумать, что если бы у вас был полный код программы, то можно было бы легко сделать вывод о том, что будет делать программа. Но это фундаментальный факт, что в общем случае это невозможно. всегда можно просто запустите программу и посмотрите, что она делает.Но даже если программа проста, ее поведение может быть очень сложным, а вычислительная неприводимость подразумевает, что не будет возможности «забежать вперед» и сразу узнать, что программа будет делать , без явно запускать его.
Одним из следствий этого является то, что если кто-то хочет знать, например, может ли программа с какими-либо входными данными делать то-то и то-то, то может не быть конечного способа определить это, потому что может потребоваться проверить бесконечное число входных данных. возможные исходные данные. Именно поэтому ошибки в программах бывает так трудно обнаружить, но в принципе это означает, что в конечном итоге невозможно полностью проверить, является ли программа «правильной» или имеет какое-то определенное свойство.
Программная инженерия в прошлом часто пыталась ограничить программы, с которыми она имеет дело, чтобы свести к минимуму такие эффекты. Но с такими методами, как машинное обучение, это в принципе невозможно. И в результате даже при наличии полностью автоматизированного программы выбора контента, в общем случае нельзя было бы проверить, что, например, она никогда не могла показать какое-то конкретное плохое поведение.
Non-explainability
Для хорошо оптимизированного вычисления вряд ли будет понятное человеку описание того, как оно работает внутри.
Должны ли мы ожидать понимания того, как наши технологические системы работают внутри? Когда такие вещи, как ослы, регулярно были частью таких систем, люди не ожидали этого. выдвинул предположение, что, по крайней мере, в принципе можно объяснить, что происходит внутри, то же самое было верно, по крайней мере, для более простых программных систем, но с такими вещами, как системы машинного обучения, это абсолютно не так.
Да, в принципе можно проследить, что происходит с каждым битом данных в программе. Но можно ли составить об этом понятное человеку повествование? Это немного похоже на то, как если бы мы могли проследить возбуждение каждого нейрона в мозгу человека. быть способным к предсказать, что человек сделает в конкретном случае, но совсем другое дело — получить высокоуровневый «психологический нарратив» о том, почему он это сделал.
Внутри системы машинного обучения — скажем, в программе «кошки против собак» — можно думать об этом как об извлечении всевозможных признаков и проведении всевозможных различий, и иногда одно из этих свойств или различий может быть тем, для чего у нас есть слово. («заостренность», скажем). Но в большинстве случаев это будут вещи, обнаруженные системой машинного обучения, и они не будут иметь никакого отношения к понятиям, с которыми мы знакомы.
И на самом деле — вследствие вычислительной несводимости — в принципе неизбежно, что с такими вещами, как конечность человеческого языка и человеческого знания, в любом хорошо оптимизированном вычислении мы не сможем дать повествование высокого уровня. чтобы объяснить, что он делает.И результатом этого является то, что невозможно ожидать какой-либо полезной формы общей «объяснимости» для автоматизированных систем выбора контента.
Ethical Incompleteness
Не существует конечного набора принципов, которые могли бы полностью определить любую разумную практическую систему этики.
Допустим, кто-то пытается научить этике компьютер или искусственный интеллект. Существует ли какой-то простой набор принципов, таких как законы робототехники Азимова, которые описывают жизнеспособную законченную систему этики? Рассматривая сложность человеческих систем Законов можно предположить, что ответ отрицательный, и на самом деле это, по-видимому, фундаментальный результат — по сути, еще одно следствие вычислительной несводимости.
Представьте, что мы пытаемся определить ограничения (или «законы») для искусственного интеллекта, чтобы гарантировать, что ИИ ведет себя определенным образом «глобально этично». Мы устанавливаем несколько ограничений и обнаруживаем, что многие вещи, за которыми следует ИИ нашей этики. Но вычислительная несводимость, по сути, гарантирует, что в конце концов всегда будет что-то неожиданное, что возможно. И единственный способ справиться с этим — добавить «заплату» — по сути, ввести еще одно ограничение для этого новый случай. И проблема в том, что это никогда не закончится: не будет никакого способа задать конечный набор ограничений, который позволит достичь наших глобальных целей (есть несколько техническая аналогия этого в математике, в которой теорема Гёделя показывает, что никакой конечный набор аксиоматических ограничений не может дать только обычные целые числа и ничего больше.)
Таким образом, для наших целей основным следствием этого является то, что мы не можем ожидать наличия какого-то конечного набора вычислительных принципов (или, если уж на то пошло, законов), которые будут ограничивать автоматизированные системы выбора контента, чтобы они всегда вели себя в соответствии с некоторыми разумными, глобальную систему этики, потому что они всегда будут генерировать неожиданные новые случаи, которые мы должны определить новый принцип для обработки.
The Path Forward
Я описал некоторые сложности решения проблем с автоматизированными системами подбора контента, но что можно сделать на практике?
Одной из очевидных идей было бы просто каким-то образом «заглянуть внутрь» систем, проверить их внутреннюю работу и изучить их конструкцию. Но как по фундаментальным, так и по практическим причинам, я не думаю, что это может быть полезным. достигать функциональные возможности, к которым привыкли пользователи, современные автоматизированные системы выбора контента используют такие методы, как машинное обучение, которые не поддаются объяснению или систематической предсказуемости на уровне человека.
Как насчет того, чтобы проверить, например, система каким-то образом предвзята? Опять же, это принципиально сложно определить. При определенном определении предвзятости можно было бы посмотреть на внутренние обучающие данные, используемые для системы, но это победило. т обычно дают больше информации, чем просто изучение поведения системы.
Как насчет того, чтобы увидеть, была ли система каким-то образом преднамеренно сделана для того или иного действия? Вполне возможно, что в исходном коде могут быть явные операторы «если», раскрывающие намерение. Но основная часть системы, как правило, состоит из обученных нейронных сетей. сети и так далее — и, как и в большинстве других сложных систем, обычно невозможно сказать, какие функции могли быть вставлены «преднамеренно», а какие — просто случайные или возникающие свойства.
Итак, если не получится «заглянуть внутрь» системы, как насчет ограничения того, как система может быть настроена? Например, один из предложенных подходов состоит в том, чтобы ограничить входы, которые может иметь система, в крайнем случае предотвращая это от получения любая личная информация о пользователе и его истории. Проблема в том, что это сводит на нет то, что было достигнуто в течение многих лет в системах отбора контента — как с точки зрения пользовательского опыта, так и с точки зрения экономического успеха. ничего не зная о пользователе, если кто-то должен порекомендовать видео, ему просто нужно будет предложить то видео, которое в целом наиболее популярно, что очень маловероятно, что большинство пользователей хотят большую часть времени.
Как вариант идеи блокировки всей личной информации можно представить себе блокировку какой-то части информации — или, скажем, позволить третьей стороне посредничать в том, какая информация предоставляется.Но если вы хотите получить преимущества современных методов отбора контента , придется оставить значительное количество информации — и тогда нет смысла что-либо блокировать, потому что это почти наверняка будет воспроизводимо благодаря феномену выводимости данных.
Вот еще один подход: как насчет того, чтобы просто определить правила (в форме вычислительных контрактов), которые определяют ограничения на результаты, которые могут дать системы выбора контента? чего мы хотим от ИИ в целом.И из-за этической неполноты — как и с человеческими законами — нам придется иметь расширяющийся набор таких контрактов.
Но даже несмотря на то, что (в частности, благодаря моим собственным усилиям) у нас появляется вычислительный язык, необходимый для описания широкого спектра вычислительных контрактов, на самом деле нам нужно получить гораздо больше опыта работы с вычислительными контрактами. в стандартных деловых и других ситуациях, прежде чем имеет смысл попытаться настроить их для чего-то столь же сложного, как глобальные ограничения на системы выбора контента.
Итак, что же нам делать?Жизнеспособного, чисто технического решения я не увидел, но сформулировал два возможных предложения, основанных на смешении технических идей с сколько-нибудь рыночными механизмами.
The basic principle of both suggestions is to give users a choice about who to trust, and to let the final results they see not necessarily be completely determined by the underlying ACS business.
Были дебаты о том, работают ли компании ACS как «платформы», которые более или менее слепо доставляют контент, или же они действуют как «издатели», которые берут на себя ответственность за контент, который они доставляют. речь идет о том, какую ответственность должен нести ИИ, но мои предложения обходят этот вопрос стороной и по-разному разводят роли «платформы» и «издателя».
Стоит сказать, что вся инфраструктура контент-платформы, созданная крупными ACS-компаниями, представляет собой впечатляющую и очень сложную инженерную работу — управление огромными объемами контента, эффективная демонстрация рекламы на нем и так далее. Что на самом деле является проблемой, так это то, должны ли мелкие детали систем ACS обрабатываться одними и теми же предприятиями, или они могут быть открыты (это актуально только для предприятий ACS, чьи сетевые эффекты позволили им обслуживать большую часть населения. Малые предприятия ACS не имеют такой блокировки.)
Suggestion A: Allow Users to Choose among Final Ranking Providers
Как я уже говорил ранее, грубая (и упрощенная) схема работы типичной системы ACS состоит в том, что сначала для каждого элемента контента и каждого пользователя извлекаются функции, а затем на основе этих функций выполняется окончательное ранжирование, которое определяет, что на самом деле будет показано пользователю, в каком порядке и т.д.
Я предполагаю, что это окончательное ранжирование не обязательно должно выполняться одной и той же организацией, которая настраивает инфраструктуру и извлекает функции. Вместо этого может быть одна платформа контента, но множество «поставщиков окончательного ранжирования», кто берет функции, а затем используют свои собственные программы для получения окончательного рейтинга.
Различные поставщики окончательного рейтинга могут использовать разные методы и подчеркивать разные типы контента. Но суть в том, чтобы предоставить пользователям возможность свободно выбирать среди разных поставщиков. Некоторые пользователи могут предпочесть (или больше доверять) определенному поставщику — это может или может не ассоциироваться с каким-либо существующим брендом. Другие пользователи могут предпочесть другого поставщика или просмотреть результаты от нескольких поставщиков.
Как технически все это будет реализовано? Базовая контент-платформа (предположительно, связанная с существующим бизнесом ACS) возьмет на себя крупномасштабную задачу обработки информации по получению извлеченных функций. достаточное количество примеров базового контента (и пользовательской информации) и его извлеченных функций, чтобы позволить системам провайдера окончательного ранжирования «узнать значение» функций.
When the system is running, the content platform would in real time deliver extracted features to the final ranking provider, which would then feed this into whatever system they have developed (which could use whatever automated or human selection methods they choose). This system would generate a ranking of content items, which would then be fed back to the content platform for final display to the user.
Чтобы не раскрывать личную информацию о пользователе большому количеству различных провайдеров, система окончательного ранжирования провайдера, вероятно, должна работать на инфраструктуре контентной платформы. предоставление какого-либо селектора для выбора среди поставщиков окончательного ранжирования.Платформа контента также будет нести ответственность за показ рекламы для выбранного контента.
Presumably the content platform would give a commission to the final ranking provider. If properly set up, competition among final ranking providers could actually increase total revenue to the whole ACS business, by achieving automated content selection that serves users and advertisers better.
Suggestion B: Allow Users to Choose among Constraint Providers
One feature of Suggestion A is that it breaks up ACS businesses into a content platform component, and a final ranking component. (One could still imagine, however, that a quasi-independent part of an ACS business could be one of the competing final ranking providers.) An alternative suggestion is to keep ACS businesses intact, but to put constraints on the results that they generate, for example forcing certain kinds of balance, etc.
Much like final ranking providers, there would be constraint providers who define sets of constraints. For example, a constraint provider could require that there be on average an equal number of items delivered to a user that are classified (say, by a particular machine learning system) as politically left-leaning or politically right-leaning.
Constraint providers would effectively define computational contracts about properties they want results delivered to users to have. Different constraint providers would define different computational contracts. Some might want balance; others might want to promote particular types of content, and so on. But the idea is that users could decide what constraint provider they wish to use.
Как поставщики ограничений будут взаимодействовать с бизнесом ACS?Это сложнее, чем для поставщиков окончательного ранжирования в предложении A, потому что фактически ограничения от поставщиков ограничений должны быть глубоко вплетены в базовую работу ACS. система АКС.
Один из возможных подходов состоит в том, чтобы использовать характер машинного обучения систем ACS и вставить ограничения как часть «целей обучения» (или, технически, «функций потерь») для системы.Конечно, могут быть ограничения, которые просто не могу могут быть успешно изучены (например, они могут требовать типов контента, которых просто не существует), но будет широкий диапазон допустимых ограничений, и, по сути, для каждого из них будет построена отдельная система ACS.
Затем все эти системы ACS будут управляться базовым бизнесом ACS, а пользователи будут выбирать, какого поставщика ограничений — и, следовательно, какую общую систему ACS — они хотят использовать.
As with Suggestion A, the underlying ACS business would be responsible for delivering advertising, and would pay a commission to the constraint provider.
Although their detailed mechanisms are different, both Suggestions A and B attempt to leverage the exceptional engineering and commercial achievements of the ACS businesses, while diffusing current trust issues about content selection, providing greater freedom for users, and inserting new opportunities for market growth.
The suggestions also help with some other issues. One example is the banning of content providers. At present, with ACS businesses feeling responsible for content on their platforms, there is considerable pressure, not least from within the ACS businesses themselves, to ban content providers that they feel are providing inappropriate content. The suggestions diffuse the responsibility for content, potentially allowing the underlying ACS businesses not to ban anything but explicitly illegal content.
Затем поставщики окончательного рейтинга или поставщики ограничений должны будут выбрать, доставлять или разрешать контент определенного характера или от определенного поставщика контента. а некоторые, возможно, и нет, устраняя сложный характер запрета по принципу «все или ничего», который в настоящее время осуществляется предприятиями ACS.
One feature of my suggestions is that they allow fragmentation of users into groups with different preferences. At present, all users of a particular ACS business have content that is basically selected in the same way. With my suggestions, users of different persuasions could potentially receive completely different content, selected in different ways.
Хотя подобная фрагментация кажется почти универсальной тенденцией в человеческом обществе, некоторые могут возразить, что регулярное знакомство людей с точками зрения других людей важно для сплоченности общества. этого было бы нетрудно достичь.Например, можно было бы взять окончательное ранжирование или поставщиков ограничений и эффективно создать график пространства признаков того, что они делают.
Некоторые из них будут сгруппированы близко друг к другу, потому что они приводят к схожим результатам. Другие будут далеко друг от друга в пространстве функций, по сути, представляя очень разные точки зрения. но видеть разные точки зрения в 20% случаев, система может с определенной вероятностью комбинировать разных поставщиков из разных частей функционального пространства.
Конечно, во всех этих вопросах полная техническая история гораздо сложнее, но я уверен, что, если они будут сочтены желательными, любое из сделанных мной предложений может быть реализовано на практике (предложение А, вероятно, будет несколько проще). реализовать, чем предложение Б.) Результат, я полагаю, будет богаче, надежнее и даже более широко используемым автоматическим выбором контента.По сути, оба моих предложения сочетают в себе возможности людей и их - и ориентироваться в сложных практических и фундаментальных проблемах с использованием автоматизированного выбора контента.