[Стандартный анализ] Объясните модель максимальной энтропии простыми словами
0x00 сводка
В этой статье мы попытаемся использовать простой для понимания способ, максимально не используя математические формулы, а исходя из общей идеи, используя перцептивное и интуитивное мышление для объяснения модели максимальной энтропии. И нашел несколько конкретных сценариев применения из известных книг, которые помогут вам углубить эту концепцию.
0x01 Фоновая концепция
1. Что такое энтропия?
Понятие энтропии можно понимать с разных точек зрения.
1.1 Понимание энтропии с точки зрения физики
Энтропия возникла в физике. Немецкий физик Рудольф Клаузиус впервые предложил понятие энтропии, которое используется для обозначения равномерности любого вида распределения энергии в пространстве Чем равномернее распределение энергии, тем больше энтропия. То есть энтропия — это мера, представляющая состояние материальной системы, и она используется для характеристики степени беспорядка в системе.
- Чем больше энтропия, тем более неупорядочена система, что означает неопределенность и неравномерность строения и движения системы;
- Чем меньше энтропия, тем более упорядочена система, а значит, система имеет определенное и регулярное состояние движения.
1.2 Понимание энтропии по сложности системы
Информационная энтропия может использоваться и как мера сложности системы, то есть мера упорядоченности, организации и сложности материальной системы.
-
Если система сложнее и типов различных ситуаций больше, то ее информационная энтропия относительно велика.
-
Если система проще и типов ситуаций мало (одна экстремальная ситуация, то соответствующая вероятность равна 1, а соответствующая информационная энтропия равна 0), то информационная энтропия в это время мала.
Чем больше энтропия, тем больше неопределенность системы и тем больше возможностей для будущего развития системы.
1.3 Вывод и определение энтропии
Определение энтропии: ?(?) = −???(?(?)?????(?))
Среди них ?(?) представляет собой вероятность случайного события ?, а H(X) называется энтропией случайной величины x, которая является мерой неопределенности случайной величины и математического ожидания количества информации порождается всеми возможными событиями. . Знак минус используется для того, чтобы гарантировать, что количество информации положительное или равно нулю.
Почему база 2? Это связано с тем, что нам нужно быть достаточно информативными, чтобы события с низкой вероятностью x соответствовали высокой информативности. Тогда выбор логарифма произволен. Просто следуя общей традиции теории информации и используя 2 в качестве основания логарифма!
Из формулы видно, что чем больше значений принимают случайные величины, тем больше количество состояний, больше информационная энтропия и больше степень путаницы.
Энтропия максимальна, когда случайное распределение является однородным. Вот очень хороший пример максимизации энтропии для равномерного распределения:
Взяв в качестве примера результаты тестов всего класса, мы обычно знаем, что баллы всего класса соответствуют распределению Гаусса.После прохождения теста и обнаружения того, что результаты всех одинаковы, это срочная новость для школы. , потому что это экстремально Это инцидент низкого уровня, но он произошел, и это не соответствует правилам Следующим шагом должно быть расследование.
1.4 Практические примеры применения энтропии к сложности системы
Давайте поищем примеры из известных книг:
Энтропия системы Ли Цзычэна
Например, Ли Цзычэн в истории ворвался в армию, и его подчиненные в основном делились на Шэньси Ган и Хэнань Ган. Предположим, банда Шэньси занимает 2/3, а банда Хэнань — 1/3.
Таким образом, значение удельной энтропии равно:
- [1/3 * log(1/3) + 2/3 * log(2/3)] = 0.63
Энтропия Ляншаня
На этот раз по горным точкам. Например:
- Фракция Сун Цзян (Хуа Жун, Лэй Хэн, Ли Куй, Цинфэншань, Оу Пэн, Лу Фан, Гуань Шэн, Хуянчжуо ...)
- Фракция Трех Гор (Лу Чжишэнь, Ву Сун, Ян Чжи, Чжан Цин, Цао Чжэн...)
- Фракция Чао Гай (Линь Чун, Лю Тан, Санруан, Бай Шэн...)
- Знаменитая фракция Лу Цзюньи (Янь Цин, братья Цая...)
- Фракция Дэнчжоу (Сунь Ли, сестра Гу...)
- Фракция Цзеянцзян (Ли Цзюнь, Тонг Вэй, Тонг Мэн...)
- Независимые (Сяо Ран, Цзинь Дацзянь, Ань Даокюань...)
Предполагая, что фракция Сунцзян занимает 1/3, другие фракции занимают 1/9, поэтому значение удельной энтропии равно:
- [1/3 * log(1/3) + 6 * 1/9 * log(1/9)] = 1.83
Этим способом,Ляншань более нестабилен, так что это хороший выбор для вербовки, а армия относительно стабильна, поэтому вы можете убить Чунчжэня после взлетов и падений.
2. Принцип максимальной энтропии
Принцип максимальной энтропии должен показать, что мир будет иметь тенденцию к беспорядку, будь то бизнес, жизнь, сталь, политика, все придет в упадок и погибнет!
То, что он описывает, есть естественный факт, т. е. исходя из текущей известной посылки, то есть при ограничениях вероятность неизвестного события максимально приближена к естественному закону вещей.
Развитие всей Вселенной есть процесс возрастания энтропии. Если внешняя сила не применяется, все всегда будет развиваться в направлении более хаотического состояния, а если внешняя сила применяется, система достигнет своего наиболее хаотического состояния, возможного при ограничениях внешней силы.
Например, когда вы сталкиваетесь с системой, вы должны думать, что система естественным образом должна стремиться к наиболее неупорядоченному состоянию. Можно сказать, я прикладываю к этой системе внешние силы, накладываю ограничения, поддерживаю ее в порядке. Но на самом деле система стремитсяПод этими внешними силами или ограничениями вы даетеМаксимальный беспорядок, которого можно достичь. Например, когда вы упорядочиваете свои наушники, независимо от того, насколько аккуратно вы укладываете кабели наушников, вы обнаружите, что наушники все равно будут находиться в определенном состоянии хаоса после того, как вы уберете их на некоторое время.
Принцип максимальной энтропии гласит, что при прогнозировании распределения вероятностей случайного события
- Не делайте никаких субъективных предположений о неизвестном.
- Если вы ничего не знаете об этом распределении, угадайте равномерное распределение с наибольшей энтропией.
- Если вы что-то знаете об этом распределении, то угадайте распределение с наибольшей энтропией, которое удовлетворяет этим условиям (т. е. предсказание должно удовлетворять всем известным ограничениям).
С точки зрения прогнозирования риска, чем больше энтропия, тем лучше, то есть сохранить всю неопределенность и минимизировать риск. Яйца нельзя класть в одну корзину. Когда распределение вероятностей наиболее равномерное, прогнозируемый риск наименьший, а энтропия полученного в этот момент распределения вероятностей наибольшая.
3. Дискриминативные и генеративные модели
В задаче классификации заданы данные x, чтобы определить соответствующую ей метку y. Существует два типа моделей классификации: дискриминационные модели и генеративные модели.
3.1 Генеративные модели (Generative)
Причина, по которой генеративную модель называют генеративной моделью, заключается в том, что ее идея заключается в том, что x — это функция, y — метка, и какая метка будетгенерироватькакие характеристики. Например, если метка — слон, то возможные черты — большие уши, длинный хобот и так далее. Модель представляетПорождающее отношение, которое производит результат Y при заданном входе X.
Генеративная модель предназначена для изучения данных наблюдения x и скрытого класса y.Совместное распределение вероятностей P(x,y), а затем получить условную вероятность P(y|x) в соответствии с формулой Байеса и предсказать y с наибольшей условной вероятностью. Это,На этапе обучения моделируется только P(X,Y), необходимо определить все информативные параметры этого совместного распределения вероятностей. Конкретный процесс:
- Сначала из данных обучающей выборки найдите распределение всех данных, а затем, наконец, определите распределение как распределение всех входных данных, и это совместное распределение P (X, Y) (обратите внимание, что X содержит все Характеристики Xi, Y содержат все метки Yi, и каждую метку Yi необходимо смоделировать).
- Затем приходят новые выборочные данные, а затем вычисляется P(Y|X) для новой выборки, выводится Y и, наконец, в качестве результата выбирается метка с наибольшей вероятностью, поэтому дискриминантной границы нет.
Повторите рабочий процесс генеративной модели.
Фаза обучения, моделирование:
Затем в соответствии с новым X экспортируйте Y:
Преимущества генеративных моделейДело в том, что содержащаяся информация очень полная, я называю ее «информация о Боге», поэтому ее можно использовать не только для ввода меток, но и для других дел. Генеративные модели фокусируются на том, как производятся результаты. Однако для генеративной модели требуется достаточное количество данных, чтобы обеспечить выборку исходного лица данных, поэтому скорость будет ниже. Другими словами, генеративная модель имитирует реальное распределение данных.
Примеры генеративных моделей: HMM/Наивный Байес. Наивному Байесу необходимо одновременно моделировать вход X и выход Y, чтобы получить совместное распределение P (X, Y), поэтому это генеративная модель. Поскольку X — относительно сложная вещь, ее очень сложно моделировать, поэтому Наивному Байесу пришлось делать сильные предположения и носить шляпу «Наива» до конца своей жизни.
3.2 Дискриминантная модель (Discriminative)
Дискриминантная модель напрямую моделирует условную вероятность P(Y|X), то есть обучение модели Y непосредственно по функциям X. Популярная интерпретация - это вероятность предсказания результата после заданного значения признака.
Дискриминационная модель напрямую изучает Y (или метку) данных в соответствии с предоставленными X (признаками). Процесс обучения заключается в определении параметров в «отношениях комплексного отображения» при построении модели P(Y|X).
Дискриминантная модель строит только одну модель для всех выборок, подтверждаяОбщая дискриминантная граница. После наблюдения за тем, какие функции вводятся, предскажите наиболее вероятную метку и, наконец, нарисуйте очевидную или относительно очевидную границу (в частности, это можно сделать с помощью сложного отображения функций или суперпозиции решений и других механизмов).
Другими словами, причина, по которой дискриминантная модель является дискриминантной моделью, заключается в том, чтоПоскольку предположение о независимости удалено, совместное распределение вероятностей не может быть задано, можно рассчитать только апостериорную вероятность, поэтому это дискриминантная модель..
Примеры дискриминационных моделейДа: логистическая регрессия/SVM/CRF.
Преимущества дискриминантных моделейДа: требования к объему данных не такие строгие, как у генеративной формулы, скорость будет быстрее, а точность будет лучше при небольшом объеме данных.
3.3 Сравнение
С точки зрения графов вероятностей ориентированные графы выражают дедуктивное отношение, то есть B появляется в предпосылке A. Эта модель также называется генеративной моделью.
Неориентированный граф выражает отношение «это правильно», то есть одновременное существование A и B является правильным.Эта модель также называется дискриминационной моделью.
Генеративные модели обычно рассчитываются с совместной вероятностью (поскольку мы знаем предпосылку A, мы можем вычислить совместную вероятность).
Дискриминантные модели обычно вычисляются с условными вероятностями (поскольку мы не знаем предпосылок, мы можем только «предполагать» вероятность B при A).
Цель генеративной модели — найти совместное распределение вероятностей P(X,Y), а затем найти условное распределение вероятностей P(Y|X) по условной формуле. То есть P(Y|X) = P(X,Y)/P(X). Поскольку совместное распределение изучено, его можно статистическиУказывает распределение данных, что может отражать сходство самих подобных данных. Но ему все равно, где проходит граница классификации, разделяющая категории.
Дискриминантная модель напрямую получает решающую функцию Y=f(x) или условное распределение вероятностей P(Y|X) из обучающих данных. Ему не нужно заботиться о порождающих отношениях между X и Y, его заботит то, какой результат Y должен быть получен для данного входа X, и ему не нужно сначала изучать совместное распределение P (X, Y).Не отражает характеристики самих обучающих данных. Но он ищет оптимальную поверхность классификации между различными категориями, отражая разницу между разнородными данными. Благодаря прямому изучению P(Y|X) или f(X),Данные могут быть абстрагированы на различные уровни, функции могут быть определены, а функции могут использоваться., так что вы можетеупростить задачи обучения.
3.4 Объясните классическими примерами из Интернета:
Пример 1: Скажем, чтобы определить, является ли овца козой или овцой
дискриминантная модельМетод:
Сначала изучите единую модель на основе исторических данных, а затем предскажите вероятность того, что овца является козой и овцой, извлекая характеристики овцы. Мне просто нужно узнать особую разницу между овцами и козами.
Например, козы лучше лазают по скалам.По наклону скальной стены, козы - это те, кто может ходить по склонам выше 45 градусов, а следующие - овцы.
И овца перед ним ходит по склону холма под углом 85 градусов, как по земле, так что это коза.
генеративная модельМетоды:
По характеристикам козла сначала изучите модель козла (худощавое тело, рога в форме Митсубиси, серповидный изгиб, вообще густая и короткая шерсть, в основном белая, также черная, голубая, коричневая или пестрая, хвост вздернутый, Мужественный, питается ветками кустарников).
По характеристике овец изучают модель овцы (полное тело, короткая голова, у баранов большие спиральные рога, у овец нет рогов или только маленькие и маленькие рожки. Капиллярный мед, в основном белый. Губы овец тонкие и гибкие, подходят Он покладистый, пугливый и в основном питается травой).
Затем извлеките различные функции из этой овцы, поместите их в модель козла, чтобы увидеть, какова вероятность, а затем поместите их в модель овцы, чтобы увидеть, какова вероятность, в зависимости от того, что больше.
В этой задаче в подходе первой дискриминантной модели вы помните только разницу между козами и овцами. Во второй идее генеративной модели вы фактически узнаете, что такое овца и что такое коза.
Пример 2: определение того, к какому языку принадлежит речь
Например, человек на противоположной стороне подходит и говорит вам слово, вам нужно определить, говорит ли она на китайском, английском или французском языках. Тогда вы можете добиться этого двумя способами:
- Чтобы выучить каждый язык, вы тратите много энергии на изучение китайского, английского, французского и т. д. Я имею в виду, что обучение заключается в том, что вы знаете, какое произношение соответствует какому языку. Затем кто-то подходит и говорит с вами, и вы можете узнать, каким голосом он говорит. Это ГМ.
- Вместо изучения каждого языка вы просто изучаете различия между этими языковыми моделями, а затем классифицируете их. Это означает, что я узнал, что есть разница в произношении таких языков, как китайский и английский, и я узнаю эту разницу. Это ДМ.
Пример 3: Алгоритм отслеживания
- Сгенерируйте модель:Как правило, изучается модель, представляющая цель, затем в ней просматривается область изображения, а затем минимизируется ошибка реконструкции. Подобно созданию модели для описания цели, а затем сопоставлению с образцом, поиск области изображения, которая лучше всего соответствует модели, является целью.
- Дискриминантная модель:Думайте о проблеме отслеживания как о проблеме бинарной классификации, а затем найдите границы решения для цели и фона. Неважно, как описана цель, главное, чтобы вы знали разницу между целью и фоном, а затем вы даете изображение, оно видит, с какой стороны оно находится на границе, и к какой категории относится.
3.5 Как выбрать модель?
Вообще говоря, генеративные модели требуют очень достаточного количества данных, чтобы гарантировать, что исходное лицо данных выбрано. Дискриминантная модель имеет менее строгие требования к количеству данных, чем генеративная модель. Но это также необходимо анализировать в каждом конкретном случае.
например, согласнобайесовская формула,мы знаемP(X,Y)=P(X|Y)P(Y)=P(Y|X)P(X), поэтому генеративную модель также можно выразить как:P(Y|X)=P(X|Y)P(Y)/P(X).
и мы теперь используемP(Y|X)=P(X|Y)P(Y)/P(X)В этой формуле первым решением является P(X|Y), поэтому в некоторых местах также говорится, что P(X|Y) моделируется как GM (конечно, также требуются P(Y) и P(X)), и P (Y| X) напрямую моделируется как DM; смысл на самом деле тот же, считая, что после моделирования P(X|Y) в GM можно получить совместное распределение P(X,Y)=P(X|Y)P(Y), еще можно сказать, что совместная раздача - это GM.
Например: X = люди, которые курят, Y = шанс заболеть раком легких, моделирование P(Y|X) может быть очень сложным. Смоделировать P(X|Y) проще, потому что моделирование P(X|Y) похоже наГлядя на курильщиков среди людей с раком легких. Все мы знаем, что курильщиков сотни миллионов, но в конце концов, есть всего несколько человек с раком легких.Легче моделировать людей с раком легких.Например, если 100 000 человек больны раком легких, выборка из 1000 будет о том же самом.
4. Концепция модели максимальной энтропии
Модель максимальной энтропии является дискриминационной моделью в классификаторе, которая непосредственно вычисляет условную энтропию.
Предполагая, что X является входной функцией, а Y является меткой класса, с определенными эмпирическими знаниями дается набор данных. Дискриминантная модель предназначена для изучения условной модели распределения вероятностей P(y|x). Таких распределений бесчисленное множество, так какое из этих бесконечных распределений вероятностей является лучшим? Это применение максимальной энтропии для получения модели.
Мы моделируем то, что известно, но не делаем предположений о том, что неизвестно. Другими словами, при заданном наборе фактов (функции + результат) выберите модель, которая соответствует всем фактам и в остальном почти наверняка является однородной.
- Модель максимальной энтропии, основанная на принципе максимальной энтропии, — это модель, которая лучше всего соответствует распределению вероятностей в естественном состоянии, поэтому модель с наибольшей вероятностью реализуется на самом деле.
- Принцип максимальной энтропии выражает равную вероятность (как можно более равномерно распределенную) путем максимизации энтропии. «В равной степени возможно» не так просто работать, в то время как энтропия — это числовая метрика, которую можно оптимизировать.
- Когда ограничений нет, просто найдите модель с наибольшей энтропией.
- Если вероятностная модель должна удовлетворять некоторым ограничениям, принцип максимальной энтропии состоит в том, чтобы не делать никаких субъективных предположений о неизвестных ситуациях в наборе условий, удовлетворяющих известным ограничениям.
- Лучший дистрибутив на данный моментИсходя из этого эмпирического знания, энтропия является наибольшейРаспределение. То есть статистическая модель с максимальной энтропией получает модель с наибольшей информационной энтропией среди всех моделей, удовлетворяющих ограничениям.
- Согласно предположению [максимизация энтропии неосведомленной информации], мы выполняем [эквивалентную обработку] явлений классификации соответственно и далее получаем вероятность возникновения всех явлений, которую можно использовать для предсказания классификации.
- Для входа X мы импортируем X в модель максимальной энтропии и получаем класс Y, который является категорией, к которой X должен принадлежать в соответствии с этой моделью, наиболее соответствующей распределению естественных законов (равномерное распределение различных возможностей).
5. Построить модель максимальной энтропии
5.1 Цель
Наша задача — построить статистическую модель, точно отражающую поведение случайных процессов. Задача модели состоит в том, чтобы предсказать вероятность вывода y в контексте x: p(y|x).
Создание модели классификации обычно делится на два этапа:
- это факт (правило), который выводит набор процессов принятия решений из выборки
- это модель, которая строит этот процесс классификации на основе этих фактов.
Эмпирическое знание является ограничением, оно зависит отХарактеристика Функцияпредставлять. Характеристическая функция f(x,y) описывает некоторый факт (эмпирическое знание) между x и y.
5.2 Процесс получения
Процесс оптимизации и вывода: при заданном обучающем наборе, то есть заданных ограничениях (опытных знаниях), может быть получен набор моделей условной вероятности {P(y|X)}, которые удовлетворяют ограничениям.
Здесь мы рассматриваем P(y|x) как набор бесчисленных вероятностных распределений, то есть каждому x соответствует определенное вероятностное распределение P(y|x), и каждое вероятностное распределение будет иметь энтропию, в это время , поэтому называется максимальной энтропией, чтобы максимизировать сумму энтропии всех этих вероятностных распределений.Поскольку каждый x имеет эмпирическую вероятность P ~ (x), нам также необходимо взвесить все эти энтропии, чтобы выразить, что максимизация энтропии вероятности распределение важнее.
Затем в виде функции признаков обучающие данные интегрируются в условную вероятность, и, наконец, на основе принципа максимальной энтропии среди всех возможных моделей вероятности (распределения вероятностей) в качестве модели выбирается модель с наибольшей условной энтропией. итоговая классификационная модель. Следовательно, изучение модели максимальной энтропии заключается в решении задачи оптимизации с ограничениями.
Наиболее примитивным методом обучения модели максимальной энтропии является итеративный алгоритм, называемый обобщенным итеративным масштабированием (ГИС). Принцип ГИС не сложен, он заключается в использовании модели N-й итерации для оценки распределения каждого признака в обучающих данных. В общих чертах его можно представить в виде следующих шагов:
- Предполагается, что исходная модель для нулевой итерации представляет собой равномерное распределение с равной вероятностью.
- По модели N-й итерации оценить распределение каждого информационного признака в обучающих данных, если оно превышает фактическое значение, уменьшить соответствующие параметры модели, в противном случае увеличить.
- Повторяйте шаг 2 до сходимости. То есть, когда распределение признаков обучающих выборок такое же, как у модели, получаются оптимальные параметры.
5.3 Применение
После получения значений параметров модели мы получаем модель максимальной энтропии.
Результатом, полученным с помощью модели, является вероятность P(y|x), то есть при заданном входе x соответственно получаются условные вероятности, соответствующие разным y, и x можно разделить на разные y в соответствии с размером вероятность. Таким образом, могут быть сделаны классификационные суждения.
Обратите внимание, что P (y | x) здесь получается не путем получения априорной вероятности из выборочных данных и последующего ее вычисления, как наивный байесовский метод, а путем максимизации условной энтропии.
0x03 Применение модели максимальной энтропии в известной книге
Давайте посмотрим на это с точки зрения неприятия риска.
1. Примените максимальную энтропию
В Водной кромке Сун Цзян отправился в Цзянчжоу, чтобы присоединиться к армии, и прошел Ляншань, а У Юн отправил людей ждать на различных перекрестках.
Поскольку У Сюэцзюнь не знал, по какой дороге может пройти Сун Цзян, он выстроился в очередь на всех четырех дорогах (брат), что предсказывает наименьший риск. Так что подождите, пока Сун Цзян.
Они втроем отправились в путь на день, а вечером отправились на постоялый двор отдохнуть, приготовили поесть, купили вина и мяса и пригласили двух господ. Сун Цзян сказал ему: «По правде говоря, сегодня мы собираемся пройти мимо парка Ляншань. В коттедже есть несколько героев, которые услышали мое имя, боясь, что он спустится с горы, чтобы взять меня и напугать вас. напрасно. Я и ты. Двое встают завтра рано, и выбирают только путь, чтобы идти туда, и скорее пройдут еще несколько миль, чем толстые ». Два джентльмена сказали: «Яси, если ты не скажешь мне, Как мы узнаем? Ударь их.» Ночной план был согласован, и на следующий день в пять часов начнется разведение костра. Два принца и Сун Цзян вышли из гостиницы. Просто иди по дороге. Примерно в 30 милях от него он увидел группу людей, повернувшихся из-за склона холма прямо перед ним. Сун Цзян посмотрел на это и горько заплакал. Пришедший король был кем-то другим, а героем во главе был рыжеволосый призрак Лю Тан, который привел от тридцати до пятидесяти человек и пришел убить двух принцев. Чжан Цянь и Ли Ван встали на колени на землю в кучу. Сун Цзян закричала: «Брат! Кого ты собираешься убивать?» Лю Тан сказал: «Брат, не убивай этих двух мужчин и женщин, чего ты ждешь!» Сун Цзян сказал: «Не бери свои руки грязный, я тебя ножом убью." Отдельные люди только горько плачут. Лю Тан передал нож Сун Цзян. Сун Цзян взял его и спросил Лю Тана: «Что ты имеешь в виду под убийством Гунжэня?» Лю Тан сказал: «Следуя приказу старшего брата на горе, специальный посланник навел справки о судебном процессе старшего брата, и он собирается ограбить тюрьму в уезде Юньчэн, но он знает, что старший брат никогда не был в тюрьме. тюрьму и никогда не страдал.На этот раз, запросы были сделаны в Цзянчжоу, я боюсь, что дорога неправильная.После прибытия в начало дороги, я научил больших и малых лидеров идти к четырем дорогам ждать, поприветствовал моего брата, а затем попросил подняться на гору. Как насчет того, чтобы не убить этих двух джентльменов?»
2. не применятьмаксимальная энтропия
Это пример Хуаронг Дао в романе о трех королевствах.
Поскольку у г-на Чжугэ недостаточно войск, он не может применить модель максимальной энтропии. Поэтому, чтобы избежать риска, он мог строить соответствующие планы только на основе характеристик Цао Цао и, наконец, выбрал Хуаронг-роуд.
Цао Цао является вершиной китайской истории, а фигура Чжугэ Ляна, «мудрая и почти демоническая», выходит на первое место в китайской истории. Человек может сосчитать на два шага больше, чем обычные люди, и на три шага больше, чем обычные люди.
Но такое планирование — это не то, что мы, обычные люди, можем сделать. Мы, обычные люди, можем только честно выбрать модель максимальной энтропии.
План мистера Конг Мина
Когда Ши Юн был на стороне, Kong Ming полностью игнорировали его. Юн Чанг не мог больше терпеть, поэтому он громко сказал: «Гуань последовал его старший брат, чтобы бороться в течение многих лет, и он не упал за сегодня, мы встречаем великий враг, но военный советник не доверяет. ему. Что это значит? «Конг Мин улыбнулся и сказал:» не вините Юн Чанг. определенная книга хочет сделать шаг , чтобы контролировать самый важный проход, но это немного помехи, так что я не осмеливаются учить его «Юн Чан сказал:„что случилось , я хотел бы видеть вас в ближайшее время .?.“Конг Мин сказал:» в прошлом, Цао Цао очень хорошо угощал шаги Если вы приказали уйти, вы будете. безусловно , отпустить его. поэтому, я не осмеливаюсь его научить. «Юн Чан сказал,» консультант так любезны! Цао Цао был очень серьезным , что день. Ожидание для кого - то, кто - то уже обезглавил Ян Лян, убит Вэнь Чоу, решена осада белой лошади, и сообщил о нем. Я столкнулся с ним сегодня, как бы я отпустить! «сказал Конг Мин,„Если бы я отпустить ее, что случилось бы?“Юн Чан сказал:» Я хотел бы следовать ! военное законодательство», сказал Конг Мин:„Таким образом, сделать документ“Юн Чан затем издал военный приказ.. Юн Чжан сказал: «Что делать, если Цао Цао не пришел с этой дороги? «Конг Мин сказал:» Я также оформить военный порядок с вами. Облако растет счастливым. Конг Мин сказал: «Юн Чан может накапливаться дрова на высокой горе на Huarong Сяо-роуд, отправился в огонь дыма, и пригласить Цао Цао прийти.» Юн Чан сказал: «Цао Цао увидел дым и знал, что там было засада, как он мог быть готов прийти «Kong Ming улыбнулся Said:» . ? не вы слышите теорию о том , что искусство войны является ложным и истинным Хотя Цао может использовать войска, он может обмануть только его , когда он видит?. дым поднимается, он скажет , что он блефует, и он, безусловно , идти по этому пути. генерал помилует.»Длинные привел общий порядок, привели Гуань Пин, Чжоу Цан, и пятьсот школьных меченосцев, и пошел в Huarong Dao засаду. Xuande сказал: «Мой брат очень лоялен Если Цао Цао действительно идет в Huarong Дао, я боюсь отпустить его..» Конг Мин сказал:. «Наблюдая за Qianxiang в яркой ночь, вор умер прежде, чем он подходит Сохранить милость и научить Yunchang сделать это.»Это также прекрасная вещь.» Xuande сказал, „расчеты г Божьи редки в мире!“
Расчеты Цао Цао
Пока они шли, сержант сказал: «Впереди две дороги. Могу я спросить премьер-министра, в какую сторону идти?» Цао спросил: «Какой путь ближе?» Хуаронг-роуд находится более чем в 50 милях отсюда; что земля узкая, а дорога опасная и трудная для навигации». .” Возьмите Huarong Road. Генералы сказали: «Там, где поднимается маяк и дым, должны быть войска и лошади, зачем вы пошли этой дорогой?» Цао сказал: «Вы слышали, что в военной книге есть поговорка: правда есть правда, а правда ложь.Чжугэ Лян очень находчивый,поэтому он отправил людей в горы.Горящий дым в укромном месте заставил нашу армию не рискнуть идти по этой горной дороге,но он устроил засаду своим войскам на главной дороге и выжидал.Я уже решил, но я не буду учить его плану!» Все генералы сказали: «У премьер-министра есть хороший план, и никто не может его реализовать». Поэтому он заставил свои войска отправиться на улицу Хуаронг. В это время люди голодали, а лошади были измотаны. Те, кто был опустошен и опустошен, шли с помощью полисов, а те, кто был расстрелян стрелами, неохотно уходили. Одежда и доспехи промокли, и все они были неполные; воинское снаряжение, флаги и знамена все были в беспорядке: большинство из них было преследовано по дороге Илин, и они ехали только на лысых лошадях, седлах и уздечках, и все их отбросили. Когда посреди зимы и холодно, как страдание может быть лучше слов.
0xEE Личная информация
★★★★★★Думая о жизни и технологиях★★★★★★
Публичный аккаунт WeChat:мысли Росси
Если вы хотите получать своевременные новости о статьях, написанных отдельными лицами, или хотите видеть технические материалы, рекомендованные отдельными лицами, обратите внимание.
ссылка 0xFF
Генеративная модель против дискриминационной модели для интервью с машинным обучением
[Дискриминантные модели, генеративные модели и наивные байесовские методы]
Энтропия машинного обучения всех видов: от новичка до полного мастерства
Введение в модель максимальной энтропии
95 строк кода для достижения максимального обучения энтропийной модели
Максимальная энтропия для классификации текста