Я имел честь сфотографироваться с автором этой книги, когда участвовал в съемках лекции в Beijing Post. В то время я не очень хорошо знал доктора У Цзюня, я просто думал, что он очень влиятельный человек. Прочитав книгу «Красота математики», я не мог не восхититься им. Хотя название может показаться учебником по математике, эта книга в основном посвящена волшебному использованию математики в таких областях, как машинное обучение. Самое похвальное, что автор объяснил многие моменты в доступной форме, а стиль письма чем-то похож на стиль Лю Вэйпэна. По словам самого автора: технология или проблема делится на «навык» и «дао»! Эта книга больше о "Дао"! Прочитав эту книгу, я вдруг осознал, что математика — это не просто скучный экзаменационный вопрос, а самый важный инструмент для понимания человеком мира. Математика не только полезна, но и бесконечно увлекательна!
Большой обход обработки естественного языка (NLP)
Очень интересным и показательным примером является процесс развития НЛП, процесс его развития за последние 70 лет можно в основном разделить на два этапа.
Первые 20 с лишним лет, с 1950-х по 1970-е годы, были этапом, когда ученые пошли в обход. Ученые во всем мире ограничили свое понимание НЛП тем, как люди изучают язык, то есть используют компьютеры для имитации человеческого мозга. В то время академическое сообщество в целом считало, что искусственный интеллект и НЛП: чтобы машины могли делать то, что могут делать только люди, например, перевод или распознавание речи, компьютер должен понимать естественный язык, а для этого компьютер должен обладают способностью нас, людей, интеллекта. Почему ты так думаешь? Потому что это то, что мы, люди, делаем, это так просто. Для людей человек, который может переводить с английского на китайский, должен хорошо понимать оба языка. Вот что делает интуиция. Так что основным направлением исследований в то время был анализ предложений и приобретение семантики. В области искусственного интеллекта такую методологию позже назвали «школой полетов птиц», то есть, глядя на то, как летают птицы, можно, подражая птицам, строить самолеты, не зная аэродинамики. На самом деле мы знаем, что братья Райт изобрели самолет на основе аэродинамики, а не биомимикрии.Сегодня машинный перевод и распознавание речи хорошо работают и используются сотнями миллионов людей, но большинство людей за пределами этой области по-прежнему ошибочно полагают, что эти два приложения зависят от компьютеров, понимающих естественный язык. На самом деле все они опираются на математику, точнее на статистику.
От НЛП к НМП
С момента своего рождения естественный язык постепенно превратился в контекстно-зависимый способ выражения и передачи информации, поэтому основной задачей компьютеров для обработки естественного языка является создание математической модели контекстно-зависимых характеристик естественного языка. Эта модель - то, что мы часто говоримстатистическая языковая модель, который сегодня является основой всего NLP и широко используется в машинном переводе, распознавании речи, распознавании печати или рукописного ввода, исправлении ошибок пиньинь, вводе китайских иероглифов и поиске литературы. Как правило, используется бинарная модель (цепь Маркова), предполагающая, что вероятность появления любого слова связана с предыдущим словом. Поскольку большинство условных вероятностей равны нулю, они сглаживаются с помощью формулы оценки Гуда-Тьюринга, метода отсрочки Каца. Система перевода Google Rosetta и система голосового поиска используют модель кватерниона, которая хранится более чем на 500 серверах Google. В 2005 году Google использовал в тысячи или даже десятки тысяч раз больше данных, чем другие исследовательские институты, для обучения шестиэлементной модели и разработал лучшую на тот момент в мире систему машинного перевода.
Поскольку я создал музыкальную библиотеку с открытым исходным кодом, я задался вопросом, смогу ли я создать музыкальную библиотеку на основе музыкальной библиотеки.Статистическая музыкальная модель, за исследования в области обработки естественной музыки. На следующем рисунке показана соответствующая перспектива, которую я получил путем сортировки и аналогии с NMP.
Лично я считаю, что основной задачей NMP является создание полной и огромной библиотеки музыкальных партитур, чтобы обеспечить достаточное количество обучающих выборок для обучения статистических музыкальных моделей и избежать переобучения моделей. Конкретная идея реализации бинарной модели заключается в следующем: музыку можно разделить на N тактов в соответствии с ритмом, а затем бинарную модель можно обучить на единицы тактов. Степень детализации сегментации может быть разной для разных приложений.
НЛП и общение
Скрытая марковская модель изначально использовалась в области коммуникации, так как же она связана с НЛП?
Рассмотрим этот вопрос под другим углом. Так называемое распознавание речи заключается в том, что слушающий угадывает, что хочет выразить говорящий. Это, собственно, как в общении, получатель анализирует, понимает и восстанавливает информацию, отправленную отправителем, по полученному сигналу. Когда мы говорим, наш мозг является источником информации. Наши горла (голосовые связки), воздух, являются каналами, подобными проводам и оптическим кабелям. Ухо слушателя является приемником, а слышимый звук - передаваемым сигналом. Определение смысла говорящего на основе акустических сигналов — это распознавание речи.
Подобным образом можно понять и многие приложения НЛП. При переводе с китайского на английский говорящий говорит по-китайски, но метод кодирования канала - английский.Если компьютер используется для вывода китайского значения говорящего в соответствии с полученной английской информацией, это машинный перевод. Точно так же, если вы хотите вывести китайский смысл, который говорящий хочет выразить, на основе предложения с орфографической ошибкой, это автоматическое исправление ошибок. Таким образом, почти все проблемы НЛП могут быть эквивалентны проблемам декодирования сообщений.
Самым ранним успешным применением Скрытой Марковской модели было распознавание речи, наиболее известными из которых были лаборатория IBM Watson Lab под руководством Яриника и первая в мире система непрерывного распознавания речи с большим словарным запасом Sphinx, разработанная Кай-Фу Ли. До Яриника ученые рассматривали проблему распознавания речи как проблему искусственного интеллекта и сопоставления образов, в то время как Яриник рассматривал ее как проблему коммуникации и использовал 2 скрытые марковские модели (акустическую модель и языковую модель) для четкого определения языка. В то же время Скрытая Марковская Модель также является основным инструментом машинного обучения. Как и почти все основные инструменты машинного обучения, для его использования требуется алгоритм обучения (алгоритм Баума-Уэлча) и алгоритм декодирования (алгоритм Витерби). Сегодня скрытые марковские модели широко используются в машинном переводе, исправлении ошибок пиньинь, распознавании рукописного ввода, обработке изображений, анализе последовательности генов, прогнозировании акций и инвестировании.
[Размышление]: Можно ли рассматривать распознавание музыкальных партитур как коммуникативную проблему и можно ли решить ее с помощью акустических и музыкальных моделей?
Вот еще небольшой эпизод: я думаю, раз распознавание музыкальных партитур можно рассматривать как коммуникацию, то можно ли использовать разные ноты для шифровки передачи информации? Как раз в тот момент, когда я подумал, что сделал крупное открытие, я увидел Хайди Раму, мать CDMA, и меня осенило.
Это скачкообразная перестройка частоты, основная концепция технологии CDMA. Скачкообразная перестройка частоты похожа на разделение содержания длинного рассказа на множество подразделов, и после отправки каждого раздела частота изменяется и отправляется следующий раздел. Отправитель и получатель могут общаться до тех пор, пока они согласовывают правила смены частот. Пока каждая полоса достаточно короткая, она будет погружена в беспорядочный фон, и третья сторона даже не сможет обнаружить существование этого сообщения, не говоря уже о его перехвате. В годы войны она была погружена в круг политических и военных сановников, что побудило ее к доверительному общению.Кроме того, Хайди училась общению в ранние годы, но бросила школу, чтобы сниматься в кино.
Через несколько дней родился этот патент:
поисковый шаттл
Принцип работы поисковой системы очень прост. Чтобы построить поисковую систему, вам необходимо сделать следующее: автоматически загружать как можно больше веб-страниц, создать быстрый и эффективный индекс и справедливо и точно сортировать веб-страницы в соответствии с их актуальность.
скачать
- Алгоритмы обхода в теории графов
- Алгоритм в ширину (BFS)
- Алгоритм поиска в глубину (DFS)
- Хэш-таблица: запись о том, была ли загружена веб-страница
показатель
- Логические операции
- Создавайте общие и необычные уровни индексации в зависимости от важности, качества и частоты посещений веб-страниц.
Сортировать
Ранжирование результатов поиска зависит от двух наборов информации: информации о качестве страницы и информации о релевантности этого запроса каждой странице.
веб-качество
Ядром алгоритма PageRank является итеративное вычисление веса каждой веб-страницы, а затем ранжирование веб-страниц в соответствии с размером веса.
Вес каждой веб-страницы одинаков в начале итерации, а затем вес каждой веб-страницы обновляется путем расчета по следующим правилам:
1. Чем больше веб-страниц ссылается на веб-страницу, тем больше ее вес.
2. Когда вес веб-страницы увеличивается, соответственно увеличивается вес веб-страницы, на которую она ссылается.
3. Когда веб-страница ссылается на большее количество веб-страниц, вес веб-страниц, на которые она ссылается, меньше.
После повторных итераций, подобных этой, алгоритм в конечном итоге сойдется к фиксированному ранжированию.
релевантность веб-страницы
Метод TF-IDF (частотно-обратная частота документа)
TF: Частота слова в одиночном тексте, которая представляет собой частоту данного слова в документе. Это число нормализовано по количеству терминов, чтобы предотвратить его смещение в сторону длинных файлов. (Одно и то же слово может иметь большее количество слов в длинном файле, чем в коротком.)
IDF: индекс частоты обратного текста, мера общей важности слова. idf конкретного слова можно получить, разделив общее количество документов на количество документов, содержащих это слово, а затем взяв логарифм по основанию 10 от полученного частного.
Сходство между двумя веб-сайтами = ∑ (ключевое слово * частота слов * вес)
Философия дизайна Google AK-47
В компьютерной области хороший алгоритм должен быть как АК-47: простым, эффективным, надежным и легко читаемым (или работать), и не должен быть хитрым. Доктор Амит Сингх, академик Американской инженерной академии, является разработчиком Google AK-47. Буква A во внутреннем алгоритме сортировки Google Ascorer — это его инициалы. Философия Зингера, заключающаяся в том, чтобы сначала помочь пользователям решить 80% проблем, а затем медленно решить оставшиеся 20% проблем, является одним из секретов успеха в отрасли. Многие неудачи не потому, что люди нехорошие, а потому, что неправильный способ ведения дел.Вначале они преследовали большое и комплексное решение, потом долго не могли довести его до конца и, наконец, ушли.
Я полностью согласен с доктором Сингером в этом вопросе. Вспоминая о том, что когда я в одиночку собирал фонотеку, к нашей основной группе присоединялось все больше и больше отличных друзей, а затем у Bilibili появилось 500 поклонников, я очень переживаю. В самом начале существовал веб-сайт под названием Liberty Shrine, на котором также размещалась музыкальная библиотека JE Bar для губной гармошки. Однако для удобства схемы вначале использовался WordPress, что напрямую приводило к громоздкости механизма загрузки и невозможности впоследствии расширить многие функции. Позже, почти в то же время, когда я создавал библиотеку песен на github, Liberty Shrine начал разработку версии 2.0. Но легче сказать, чем сделать, чтобы получить функции, которые проблема github может предоставить напрямую. Прежде всего, библиотека песен github поддерживает загрузку изображений с помощью перетаскивания, с собственной идеальной функцией поиска, поддержкой нечеткого поиска и собственной сортировкой. За полгода практики Quku накопил некоторый опыт и оптимизировал шаблон загрузки. Есть несколько проблем, с которыми столкнулся Liberty Shrine при создании базы данных партитур с той же функцией: 1. Студенты, отвечающие за базу данных, слишком заняты и не имеют времени 2. Требуется определенное количество времени, чтобы реализовать музыкальную библиотеку и оценка функций поиска, 3. Оценка должна быть повторно транспортирована. Вначале многие думали, что они должны использовать свою собственную базу данных для хранения результатов и самостоятельно выполнять функцию поиска, чтобы чувствовать себя более непринужденно, но в конце концов все закончилось. В конечном счете, это связано с тем, что для ориентированного на интересы проекта с открытым исходным кодом стоимость разработки, связанная с изобретением колеса, слишком высока, будь то время или энергия. По сути, github — это репозиторий с открытым исходным кодом для хранения кода, и это понятно для хранения музыкальных партитур с открытым исходным кодом. Таким образом, мы использовали 80% нашей энергии для создания Music Library 2.0, предоставляя вам все необходимые функции. Разработка Liberty Shrine 2.0 в конечном итоге застопорилась из-за узких мест.
Важность математических моделей
- Правильная математическая модель проста по форме.
- Правильная модель может быть не такой точной с самого начала, как хорошо продуманная неправильная модель, но если мы решим, что общее направление является правильным, мы должны придерживаться его.
- Большие объемы точных данных важны для НИОКР
- Правильные модели также могут быть искажены шумом и казаться неточными; вместо того, чтобы компенсировать это импровизированной коррекцией, обнаружение источника шума может привести к крупным открытиям.
Байесовская сеть
С математической точки зрения байесовская сеть — это взвешенный ориентированный граф, расширение цепи Маркова. С эпистемологической точки зрения байесовская сеть преодолевает механические линейные ограничения цепи Маркова и может объединять в своей структуре любые связанные события.
Байесовские сети легче учитывать (контекстные) контекстуальные корреляции, чем нейронные сети, поэтому они могут декодировать входную последовательность, например произносить фрагмент речи и распознавать его как текст или переводить английское предложение на китайский. Выход искусственной нейронной сети относительно изолирован, она может распознавать слова по одному, но сложно обработать последовательность, поэтому ее основным применением часто является оценка параметров вероятностной модели, например, обучение акустической модели. параметры распознавания речи, обучение машинному переводу параметров языковой модели и т. д., а не в качестве декодера.
[Думаю]: байесовская сеть больше подходит для распознавания музыкальных партитур