Некоторое время назад мы могли видеть такую новость на сайте новостей технологий, из новостей The Verge от 30 мая:
Microsoft заменяет редактирование мультимедиа искусственным интеллектом. Многие отечественные СМИ начали восклицать «Редакторы потеряют работу!», не прочитав внимательно исходный текст и не проведя исследования. На самом деле, если вы действительно внимательно прочитаете новость, то поймете, что суть этого дела не в такой "титульной партии", как в названии. Медиа-редакторы, которых Microsoft заменила ИИ, занимаются только сбором, просмотром, отображением и распространением новостей, и эта часть работы действительно будет лучше на основе ИИ больших данных.
Практически в то же время аудитория другого сообщения была намного меньше, чем у предыдущего, но оно действительно шокировало инсайдеров индустрии. эта новостьOpenAI демонстрирует модель GPT-3 со 175 миллиардами параметров. Не похоже, что эта новость имеет отношение к вышеизложенному, но глубокая связь, стоящая за ней, — это то, что действительно пугает. Пожалуйста, позвольте мне попробовать и поговорить об этом позже.
Сначала я хочу отметить следующее: одной из целей развития информационных технологий является повышение эффективности передачи информации. Эта точка зрения послужит основой, и мы попытаемся вывести, что из этого можно вывести.
Для того, чтобы вы согласились с этой точкой зрения, давайте кратко остановимся на истории информационных технологий.
История развития информационных технологий Интернета
Создание языка и письма для общения, а суть общенияпередача информации. Одной из целей развития информационных технологий является улучшениеоперативность передачи информации. Бумага и печать расширили передачу информации как в пространстве, так и во времени. Современные технологии действительно открыли ящик Пандоры. Появление Интернета действительно позволило доставлять информацию в режиме реального времени. Однако эффективность передачи информации не равна скорости сети, в современном обществе скорость перестала быть узким местом передачи информации.
Мы суммируем три этапа развития интернет-технологий.
Первый этап (1992-2000 гг.)
Это первые дни Интернета, и информации в Интернете все еще очень мало, она разбросана повсюду, и людям нелегко ее найти и просмотреть. В результате появились инструменты для сбора информации и организации структур каталогов, представителем которых является компания Yahoo.
Yahoo была основана Джерри Янгом, и ее первое название было «Путеводитель Джерри по Всемирной паутине».
Основная проблема, решаемая на данном этапе, — обнаружение разрозненной информации в Интернете.Конечно, еще одним важным приложением в этот период является электронная почта, и многие обмены информацией также осуществляются посредством электронной почты. Но из-за малого охвата отдельных электронных писем (даже почтовых групп) они гораздо менее эффективны для распространения информации, чем каталоги на порталах.
Второй этап (2000-2014 гг.)
В настоящее время в Интернете появляется все больше и больше информации, и он недостаточно эффективен для сбора и запроса информации на основе структуры каталогов. В настоящее время появление поисковых систем в лице Google значительно повысило эффективность обнаружения и передачи информации. Пользователям больше не нужно просматривать каталог, чтобы найти нужную им информацию, они могут напрямую просматривать всю необходимую информацию, вводя ключевые слова.
По сравнению с просмотром, поиск намного эффективнее для пользователей. Релевантность поисковой системы Google очень хорошая. Даже если ее функция единственная по сравнению с веб-сайтами портала, она очень эффективна. Ранняя философия Google также заключалась в том, чтобы надеяться, что пользователи
уйти как можно скорее, и не жадный до времени одноразового использования пользователя.
Третий этап (2014-настоящее время)
По мере того, как пользователи используют Интернет все больше и больше, Интернет узнает все больше и больше обо всех. В результате произошел сдвиг парадигмы в передаче информации от людей, ищущих информацию раньше, к информации, ищущей людей.
Прежде чем пользователь отправится в поисковую систему, чтобы найти информацию, пользователь уже получил необходимую информацию в продукте информационного потока. Основным представителем компании на данном этапе является Facebook. 24 апреля 2014 года Facebook объявил о запуске FB Newswire, нового сервиса для журналистов. С тех пор информация, которую пользователи видят в новостной ленте, превратилась из дружеской в действительно весь контент в мире.
Сейчас мы проходим через переход от третьего этапа к четвертому, но что такое четвертый этап? Каким образом это повысит эффективность передачи информации? Ключевая технология здесьискусственный интеллект.
Влияние технологии искусственного интеллекта
На втором и третьем этапах развития интернет-технологий уже можно увидеть применение технологии искусственного интеллекта. В поиске было применено большое количество технологий машинного обучения. Фактически, компании с самой сильной технологией искусственного интеллекта начинались с компаний, занимающихся поисковыми системами. В течение определенного периода времени Google оплачивал почти всех докторантов НЛП.
На третьем этапе продуктов информационных потоков больше применяются алгоритмы машинного обучения. Огромные объемы пользовательских данных передаются алгоритмам машинного обучения для моделирования интересов пользователей и проведения анализа потока информации, которую видит каждый пользователь.персонализировать.
В современном мобильном Интернете персонализация распространена повсеместно.Из-за сильной привязки мобильных телефонов и личных данных мобильный Интернет знает о каждом больше, чем когда-либо прежде. Почти все приложения были глубоко персонализированы: от персонализированного информационного потока, который вы видите при открытии Toutiao, тысяч продуктов, отображаемых на Taobao, до рекомендаций ресторанов при открытии Dianping. За исключением информации, которую вы видите в активной части поиска, у искусственного интеллекта есть почти все, что вы можете увидеть в рекомендуемой информации.
Помимо распространения информации
Хотя мы видели, что способ передачи информации прошел через три этапа в истории Интернета, мы можем заметить, что повышение эффективности передачи информации, о котором говорилось выше, в основном связано с распространением информации, но в дополнение к распространению передача информации имеет еще один аспект. Очень важная ссылка перед раздачей, т.е.производство информации.
Производство контента также влияет на эффективность доставки информации.
На самом деле производство информации — это направление, которое всегда было важным для эффективности доставки, но которым часто пренебрегают. Не только способ распространения информации, но и сама форма информации будет сильно влиять на эффективность передачи информации.
Например, когда вы видите новость и намереваетесь рассказать ее другим, вы обнаружите, что то, как вы ее излагаете, зависит от аудитории. То же самое, что вы говорите своим родителям, коллегам, партнеру или детям, скорее всего, будет выражаться по-разному. Это потому, что когда вы узнаете свою аудиторию, вы выберете наиболее эффективный для них способ выражения информации и избегаете говорить двусмысленные и непонятные для них вещи.
Кроме того, одна и та же информация, различные формы носителей также сильно повлияют на эффективность передачи. Часть информации, которая требует пространственного воображения, например, представление масштаба нашей вселенной, трудно точно выразить масштаб вселенной, если мы используем слова.В это время эффективность передачи видео будет намного выше, например в виде
это видео.
Многим покажется, что сегодня эпоха информационного взрыва, и контента для нас не мало, а слишком много. В настоящее время количество длинных статей во всей сети, платформа общедоступных учетных записей WeChat генерирует около 1 миллиона статей каждый день, и другие платформы, такие как Toutiao, Baidu Baijiahao и т. д., вероятно, имеют такую же величину, а общее количество статей по всей сети не превысит 10 млн. (короткий и фрагментарный текст Weibo статьей не считаем), а повторяющегося контента много (повтор включает в себя прямые перепечатки, либо небольшое количество переработанных рукописей). Количество статей после дедупликации составляет около нескольких миллионов.
Общий объем контента кажется большим, но, учитывая, что у нас более миллиарда потребителей информации, разнообразия нашего информационного контента далеко не достаточно. С другой стороны, когда вы действительно хотите читать статьи на определенную тему, вы часто обнаруживаете, что не можете найти соответствующий контент или не можете найти контент, который вам подходит.
Этапы производства контента
Каждой платформе распространения контента в первую очередь необходимо иметь контент для распространения, что неотделимо от этапа производства контента (конечно, некоторые платформы полагаются на «обработку» для создания контента в первые дни, и можно считать, что «обработка» — это также способ производства контента). Производство контента на этих платформах проходит следующие этапы.
Этап пользовательского контента
Пользовательский контент — это контент, созданный пользователями.В период становления Интернета и мобильного Интернета существует большое количество платформ пользовательского контента, включая Youtube, Twitter, публичный аккаунт WeChat, Douyin и т. д. На этом этапе большое количество людей попытается создать контент на этой новой платформе.Когда пользователи впервые придут на эту платформу, они даже увидят много контента, созданного людьми, которых они знают. Количество контента, производимого на этом этапе, будет быстро расти, но доля высококачественного контента относительно невелика.
стадия ПГС
PGC — это контент, созданный профессионалами, и практически все платформы UGC постепенно станут PGC. Большинство пользователей не имеют возможности или ресурсов для непрерывного вывода высококачественного контента. Трафик естественно будет концентрироваться на аккаунтах профессионалов. Конечно, профессионалы здесь могут быть профессионалами в традиционных отраслях, а могут вырасти из обычных пользователей в начале, но в итоге большая часть контента будет создаваться профессионалами.
Этап MGC
MGC – это машинно-генерируемый контент. Когда эксперты глубже поймут характеристики формы контента, они обобщат процедуру создания этого контента. Изучив эту процедуру, вы повысите эффективность производства контента. Чтобы еще больше повысить эффективность, эта процедура в конечном итоге станет алгоритмом и будет передана машине для изучения и реализации. В настоящее время контент, сгенерированный алгоритмом, представляет собой MGC.
На международном рынке уже есть компании, специализирующиеся на продукции MGC. Продукт Automated Insights, Wordsmith, использовался многими фирменными компаниями, в том числе такими новостными лентами, как Associated Press. По данным Automated Insights, на платформе Wordsmith ежегодно пишется более 1 миллиарда статей. В Китае также есть некоторые сопутствующие продукты для умного письма, такие как робот Xiaoming компании Toutiao и писатель мечты Tencent. Три года назад информационное агентство Синьхуа объявило на Всемирной интернет-конференции в четвертом квартале о созданииПервая в Китае медиа-платформа с искусственным интеллектом «Media Brain». Все это контент MGC сегодня. Но в целом наполнение отечественных МГК сегодня не очень велико, и это направление пока находится в стадии разведки.
Следующий этап повышения эффективности передачи информации
Кстати говоря, ответ на наш предыдущий вопрос о будущем направлении уже прозвучал: мы считаем, что следующим этапом повышения эффективности передачи информации являетсяОт персонализации распространения контента к персонализации производства контента. То есть сценарий, аналогичный следующему:
Однажды, когда вы открываете приложение для просмотра новостей, весь вышеперечисленный контент создается специально для вас, не только темы, которые соответствуют вашим интересам, но также детали и выражения контента основаны на ваших знаниях, специально для вас. Вам удобно здесь более эффективно усваивать новую информацию.
Кажется чудом, но это вполне логичный вывод. Последующий вопрос: как далеко мы от этого дня? Чтобы ответить на этот вопрос, нам нужно взглянуть на современное состояние искусственного интеллекта в производстве контента.
Какой контент могут создавать современные алгоритмы
Вы можете не осознавать, что на самом деле существует два направления производства информации.тяжеловескомпаний, то есть «Apple» и «Microsoft». Хотя они не занимаются непосредственно производством контента (конечно, сейчас они производят много контента), их наиболее важным продуктом являются инструменты повышения производительности для производства контента. В то же время он также продвигает использование искусственного интеллекта в инструментах повышения производительности, но это относительно консервативно, конечно, главная причина в том, что технология не настолько зрелая.
В контенте, который алгоритм может генерировать в настоящее время, действительно много ограничений, но его уже можно применять во многих сценариях. Например: генерация заголовков, переписывание текста, обнаружение опечаток, автоматическая генерация постеров. Кубок Byte, организованный ByteDance (материнской компанией Toutiao и Douyin) в 2018 году, представляет собой задачу автоматической генерации заголовков статей. (Кстати, нильбой нашей команды занял первое место в этом конкурсе)
Является ли контент, созданный алгоритмом, ценным?
Некоторые люди наверняка сомневаются в способности алгоритмов создавать ценный контент.
Во-первых, давайте посмотрим, что создают люди. Большая часть информации при создании контента исходит из материалов: будь то написание статей или изготовление постеров, сначала нужно собрать достаточно материалов. Вообще говоря, большое количество материала не оригинальное, а собранное. Другая часть содержания — это структура и логика.Используйте логическую структуру, чтобы организовать материал и настроить выражение, чтобы получить содержание. Мы часто слышим, что «мировые статьи копируются, и вы можете копировать их или нет», и в определенной степени мы это имеем в виду.
На самом деле у большинства людей не так много способов получить самую оригинальную информацию, и большая часть нашей информации получена посредством чтения. Конечно, некоторые профессиональные редакторы получают информацию из первых рук в ходе полевых исследований с помощью антропологических методов. Но для обычного веб-редактора он, скорее всего, создаст новый контент, прочитав много существующей информации по теме, используя информацию в качестве материала и объединив соответствующий материал вместе посредством логической организации. Есть также много фабрик контента, которые даже генерируют новый контент, лишь умеренно изменяя контент других людей.
Другим примером является поэзия в древнем стиле: «Зная 300 стихотворений Тан, даже если вы не знаете, как писать стихи, вы можете их читать». Сегодня очень легко использовать технологию НЛП для создания новой древней поэзии.Система «Девять песен» Университета Цинхуа дажеМожет соперничать с людьми по содержанию и настроению. (Мы также сделали небольшую демонстрацию под названием «Li Bai» три года назад, чтобы показать возможности NLG в то время)
Логика контента, генерируемого алгоритмом, принципиально не отличается от логики человека, она также начинается со сбора и осмысления материала и генерируется путем объединения с соответствующей логикой. Так что ответ на этот вопрос я думаю не вызывает сомнений. На самом деле алгоритмы создали много ценного контента.
Современные методы алгоритмического создания контента
Давайте начнем с краткого обзора двух основных способов, которыми алгоритмы в настоящее время создают контент.
Шаблоны и сценарии экспертных систем
Шаблоны и экспертные системные решения имеют множество приложений для создания естественного языка или автоматизированного проектирования, и мы также используем их в реальном бизнесе. Упомянутая выше основная схема генерации текста Wordsmith основана на шаблонах и экспертных системах. Но Wordsmith — это уже продукт, разработанный до эпохи ИИ, и в нем не так много интеллектуальных модулей. Так же будет много проблем и недостатков на основе этой схемы. Например, Tencent Video однажды опубликовала следующие новости:
Причина этой нелепой ошибки в том, что новость генерируется по шаблону, и информация, которая должна быть заполнена в месте, где погибло "несколько" человек, почему-то пропала и стала пустой, что и привело к этой сенсационной новости.
Решение модели магического языка
Языковая модель — это модель автоматического создания языка, основанная на статистическом обучении. Вышеупомянутая GPT-3 представляет собой языковую модель, основанную на нейронных сетях. Причина, по которой он называется GPT-3, заключается в том, что впереди GPT и GPT-2. В прошлом году OpenAI выпустила GPT-2 и оказала большое влияние. В то время размер модели достигал 1,5 миллиарда (конечно, сегодня это не очень много). Понимание оригинальной статьи этой работы заключается в том, что обучение неконтролируемой крупномасштабной языковой модели само по себе является хорошей моделью общего назначения, которая может быть подходящей для различных типов многозадачности даже без тонкой настройки. Более привлекательными результатами этой работы являются на самом деле не экспериментальные результаты в статье, а приложения и примеры автоматически сгенерированных статей, приведенные в статье OpenAI в блоге. В статье в блоге было приведено несколько примеров, и в большинстве общедоступных аккаунтов был только первый пример «единорога».
В этом примере мы просто дали модели два предложения для начала:
Ученые сделали шокирующее открытие, что группа единорогов живет в отдаленной и неосвоенной долине в Андах. Еще более удивительно то, что эти единороги прекрасно говорят по-английски.
Модель начали серьезно редактировать:
У этих существ есть уникальные рога, которые ученые назвали Единорогом Овидия. Серебристо-белое существо с четырьмя рогами ранее было неизвестно научному сообществу. ...хотя происхождение этих существ неясно, некоторые считают, что они былиЧеловек и единорог пересекаютсяОн родился, когда человеческой цивилизации не существовало. «Это довольно распространено в Южной Америке», — сказал профессор Перес.
Следует отметить, что эти примеры фактически подобраны, а проблемы повторения и ошибок здравого смысла в языковом порождении не решены. Например, пример «единорог» — хороший пример из десятого примера. Доля создания гладких статей составляет около 10%-50%.
Но в этом году модель GTP-3 еще больше улучшилась. После заголовка «Объединенная методистская церковь согласна с этим историческим разделением» и подзаголовка «Те, кто выступает против однополых браков, создадут свою деноминацию», GPT-3 сгенерировал следующий новостной контент:
Как сообщает Washington Post, после двух дней жарких дебатов Объединенная методистская церковь согласилась на исторический раскол: либо создать новую деноминацию, либо стать консервативной в богословском и социальном плане. Большинство делегатов, присутствовавших на ежегодном собрании церкви в мае, проголосовали за ужесточение запрета на назначение представителей ЛГБТ-священнослужителей и создание новых правил «дисциплинарного воздействия» на священнослужителей, совершающих однополые свадьбы. Но у противников этих мер новый план: в 2020 году они сформируют новую конфессию — Христианско-методистскую церковь. The Washington Post отмечает, что Объединенная методистская церковь, организация, которая утверждает, что насчитывает 12,5 миллионов членов, была «крупнейшей протестантской конфессией в Америке» в начале 20 века, но в последние десятилетия она сокращается. Этот новый раскол станет вторым в истории церкви. Первый раз это произошло в 1968 году, когда в «Объединенном евангельском братстве» осталось всего около 10% членов. The Washington Post отметила, что нынешний предлагаемый раскол «происходит в подходящее время для Объединенной методистской церкви, которая с годами теряла членство», что «ставит деноминацию на грань раскола из-за роли ЛГБТК». Однополые браки — не единственная проблема, разделяющая церковь. В 2016 году конфессия разделилась по поводу рукоположения трансдухов. Региональная конференция Северо-Тихоокеанского региона проголосовала за запрет их использования в духовенстве, а Региональная конференция Южно-Тихоокеанского региона проголосовала за их разрешение.
В тесте OpenAI оценщикам-людям также было трудно сказать, были ли новости правдой или ложью, при этом точность обнаружения составляла всего 12%.
Используя этот метод, система может автоматически генерировать следующий контент для изменения пользователем в соответствии с контентом, написанным пользователем. в Gmail
умный сочинятьЭто используемая схема языковой модели. Мы также пробуем это решение в нашем собственном интеллектуальном редакторе. Но самая большая проблема здесь в том, что даже если сгенерированный текст будет гладким и последовательным, если он не будет согласовываться с идеями редактора, это не улучшит значительно эффективность. Кроме того, у языковой модели все еще есть проблемы, такие как дублирование генерируемого контента и ошибки здравого смысла. Нам нужно подумать о контролируемом создании контента, включая обеспечение точной информации и ограничение стиля контента. Конечно, увеличение разнообразия генерируемого контента также является проблемой, которая не решена должным образом.
Подводя итог, можно сказать, что самым большим ограничением современных алгоритмов, использующих языковые модели, является отсутствие контроля над автоматически генерируемым контентом. В прошлом году статья «Контролируемая генерация текста» была обвинена в заголовке в твиттере, и ее пришлось заменить на «На пути к контролируемой генерации текста». Любой, кто действительно написал статью, знает, что статья не написана, а изменена. Каждый раз, когда кто-то (в том числе и я) читает черновик, появляются мнения об изменениях, а процесс внесения изменений на основе мнений плохо моделируется и не изучается в современных алгоритмах машинного обучения.
Сотрудничество человека и машины
Ввиду технических дефектов, упомянутых выше, наиболее приемлемым решением в настоящее время является сотрудничество человека и машины. То есть за часть работы отвечает машина, а затем люди совершенствуются на основе работы машины и, в конце концов, добиваются удовлетворительных результатов. Тем не менее, человеко-машинная координация выглядит хорошо, но есть действительно важные условия для того, чтобы это решение было эффективным:
Хотя машина не обязана производить идеальный контент, она также должна производитьдостаточно хорошоСодержание.
Например, для достижения стандарта, доступного напрямую, необходимо 10 баллов.Если контент, созданный машиной, меньше 8 баллов, то контент, созданный этой машиной,совершенно бесполезный. Обратите внимание, что между качеством и ценностью машинно-генерируемого контента нет линейной зависимости. Ловушка здесь в том, что если контент, сгенерированный машиной, ниже 8 баллов, люди могут улучшить контент с 8 баллов до 10 баллов, а потребление энергии может быть таким же или даже выше, чем при самостоятельном выполнении.
Когда наша команда занималась генерацией контента для электронной коммерции, потребовалось около полугода, чтобы улучшить эффект контента, генерируемый алгоритмом, с 5 баллов до 8 баллов, а затем оптимизировать его до 9 баллов. Непрерывная оптимизация эффекта алгоритма позволила редактору производить в среднем от 10 до 100 единиц контента в день.
Видно, что наш нынешний уровень технологий искусственного интеллекта не позволяет персонализировать производство контента, и мы все еще изучаем этап автоматизации производства контента. Тем не менее, скорость технического прогресса также высока: за последние два года обработка естественного языка (NLP) преодолела многие прежние узкие места благодаря поддержке больших данных и увеличению вычислительной мощности. Мы верим, что в будущем все больше и больше контента, который вы увидите в Интернете, будет исходить от искусственного интеллекта.
Наконец
В Китае также есть некоторые связанные умные письменные продукты, такие как робот Xiaoming от Toutiao и Dreamwriter от Tencent, но эти два продукта являются внутренними продуктами ByteDance и Tencent и не обслуживаются снаружи. Кроме того, на открытой платформе искусственного интеллекта JD.com также есть умные продукты для письма, Zhisou Giiso, Get Writing и другие продукты, которые не используются многими пользователями, а контент, создаваемый на их платформе, также очень ограничен. В целом рынок умных редакторов по-прежнему имеет очень широкое пространство, и в Китае нет относительно влиятельного продукта. Поэтому основная работа каждого по-прежнему заключается в расширении рынка и изменении создателей контента со старого режима создания на новый режим создания в сочетании с ИИ.
До персонализации производства контента нам еще далеко, и мы все еще изучаем автоматизацию производства контента, но считаем, что это направление является неизбежным этапом информационных технологий для дальнейшего повышения эффективности передачи информации. В этом направлении неизбежно появятся компании такого же масштаба, как Microsoft, Apple, Yahoo, Google и Facebook. Aigeng Technology также надеется внести свой вклад в этом направлении.
О технологии Айгенг
Aigeng Technology — компания, специализирующаяся на применении самых передовых технологий искусственного интеллекта в области производства контента.Повысить эффективность производства контентастартап компания.
Aigeng Technology имеет богатый технический опыт в области понимания естественного языка, создания контента, поисковой системы, графа знаний, системы рекомендаций, чат-робота, понимания изображений и видео и других областях.
В компании работает лучшая команда по алгоритмам, в которую входят эксперты из известных компаний, таких как Microsoft, Ali, Baidu, Huawei и т. д. В то же время у нас также есть инженерные группы и команды по продуктам из интернет-компаний первого уровня, что позволяет нам иметь сильную архитектуру, реализацию кода, повышение эффективности проектирования, оптимизацию алгоритмов и возможности инноваций в продуктах.
На сегодняшний день члены команды Aigeng опубликовали десятки научных статей на основных конференциях и в публикациях в области ИИ, а компания получила более десяти патентов и авторских прав на программное обеспечение. В то же время мы также активно участвуем в ведущих отраслевых конкурсах для расширения соответствующих технических обменов. Помимо упомянутого выше первого места в конкурсе Byte Cup, мы обогнали Microsoft, Google, Facebook и другие компании в конкурсе SQuAD 2017 года и заняли второе место. В 2019 году компания Aigeng Technology была успешно выбрана в Microsoft Accelerator. В том же году она получила награду десяти самых перспективных ИИ-компаний Китая в ежегодном отборе сердца машины. И в 2019 году город Ханчжоу оценил ее как ведущую предпринимательскую команду в Ханчжоу.
Мы твердо верим, что технологии создают ценность, и надеемся стать основой повышения производительности на рынке мультимедийной продукции с оборотом в 100 миллиардов долларов! Мы приглашаем к нам новых друзей, которые заинтересованы в производстве контента AI+!
Электронная почта для доставки резюме: hr@aidigger.com (вы вернете резюме в день его получения!)