Основы машинного обучения — энтропия

Мало знаний, большой вызов! Эта статья участвует в "Необходимые знания для программистов«Творческая деятельность.

В последнее время я чувствую себя немного сбитым с толку из-за учебы. Тем не менее, я все еще чувствую, что должен выстоять.Иногда это действительно тяжело под давлением работы, но есть много наград. Я надеюсь, что я тоже смогу определить направление, изучить его приземленно и повысить свою конкурентоспособность. Настойчивость - недостаток большинства людей. Не нужно настаивать на неохоте.

Предположим, что внизу есть 3 ящика, такие как левый, средний и правый на картинке ниже.Когда из левого ящика случайным образом вытягивается маленький шарик, мы уверены, что вытащен красный шарик, что указывает на то, что мы много знаем об этом ящик, то есть его наименьшая энтропия. И когда мы вытаскиваем по одному шару из коробки справа, мы не уверены, какого цвета будет этот шар.

После того, как игра завершена, ниже есть 3 последовательности, то есть красные шары и желтые шары расположены в определенном порядке.Игра заключается в том, чтобы угадать вероятность последовательности.

Вероятность угадывания первой последовательности равна

0.75 \times 0.75 \times 0.75 \times 0.25 = 0.105

А для второй вероятности

1 \times 1 \times 1 \times 1 = 1

последняя вероятность

0.5 * 0.5 * 0.5 * 0.5 = 0.625

Вышеупомянутый метод выражения вероятности путем непрерывного умножения не идеален.Теперь есть только несколько маленьких шариков.Если тысячи маленьких шариков получают очень маленькое значение. Если вам не нравится умножение, вы можете преобразовать умножение в умножение на логарифм.

\log(ab) = \log a + \log b

описывать	Вероятность красного шара	Вероятность синего шара	Вероятность угадывания последовательности	энтропия
4(red ball)	1	0	$1 \times 1 \times 1 \times 1 = 1$	0
3(red ball)1(bule ball)	0.75	0.25	$.75 \times 0.75 \times 0.75 \times 0.25 = 0.105$	0.81
2(red ball)2(bule ball)	0.5	0.5	$0.5 * 0.5 * 0.5 * 0.5 = 0.625$	1