Основы машинного обучения — объем информации и информационная энтропия

Мало знаний, большой вызов! Эта статья участвует в "Необходимые знания для программистов«Творческая деятельность.

Информационная энтропия

Энтропия упоминается во многих фантастических фильмах, я впервые столкнулся с энтропией, когда изучал деревья решений. Однако в то время энтропия оставляла у нас впечатление, что она все еще покрыта пеленой, понятно это или нет. На сегодняшний день, еще через год или около того, чтобы лучше понять, что такое энтропия, я просмотрела не один десяток видеороликов об энтропии в стране и за рубежом, поэтому сегодня осмелюсь снова рассказать о том, что такое энтропия.

Энтропия в настоящее время является относительно горячей концепцией.Все более или менее поняли, что энтропия используется для описания степени хаоса в системе, но это должно быть определением энтропии в термодинамике.

Сегодня я хочу поговорить об энтропии, которая должна принадлежать энтропии теории информации, а не энтропии в физическом смысле.Информационная энтропия.

Что такое информационная энтропия

Все мы знаем, что энтропия — это и концепция термодинамики, и концепция теории информации. Давайте не будем сначала говорить об информационной энтропии, давайте сначала поговорим об объеме информации, потому что объем информации — это частный случай информационной энтропии, мы все от простого к общему.

количество информации

количество информацииЭто мера информации, точно так же, как мера времени — секунды.Когда мы рассматриваем дискретную случайную величину x, когда мы наблюдаем конкретное значение этой переменной, сколько информации мы получаем?

Например, если мы слышим восход солнца с востока, эта информация для нас малоценна, потому что это неизбежное событие, поэтому количество информации, которую эта информация доносит до нас, равно 0

Когда мы получили извещение о предложении от большой фабрики, если бы раньше не было вывесок, этот объем информации был бы для нас очень большим. следующий мы

Например, есть две возможности игры с подбрасыванием монеты: орел и решка.Мы можем использовать H для орла и букву T для решки. Мы делаем это, передавая информацию H или T другим, чтобы сообщить отсутствующим людям об исходе игры, и, конечно же, 0 для решки и 1 для решки.

Всем известно, что компьютер представляет собой 1 единицу бита для представления 2 возможностей, то есть мы можем использовать 1 единицу бита для описания результата игры в подбрасывание монеты и передавать его другим. Информация помогает нам устранить неопределенность в отношении того, какой из двух случаев присутствует.

Давайте поиграем в игру, установим барьер между двумя людьми, этот барьер может передавать только 0 или 1 электрический сигнал. На обоих концах барьера есть два человека, назовем их пока А и Б. А случайным образом берет букву из букв А, В, С и D, а затем извлекает букву А, комбинируя 0 и 1. Информация сообщает В через барьер, требуется 2 бита для передачи информации, например, 00 для А 01 для В 10 для С 11 для D. То есть требуется два бита информации.

\log_2 2 = 1\\ \log_2 4 = 2\\ \log_2 8 = 3\\

Логарифм по основанию 2 числа всех событий с равной вероятностью в указанном выше событии — это именно то количество сигналов, которое нам нужно, чтобы сообщить результат этого события.

Чем больше возможных событий, таких как система, тем больше количество битов, необходимых для описания событий. Предполагаемые здесь равновероятные события могут быть представлены несколькими умножениями. Итак, как мы должны представить количество информации для 10 возможных вероятностных событий, которые являются результатом случайного события? Мы можем представить 10 возможностей с 4 битами информации, но 6 здесь тратятся впустую, конечно, мы можем использовать $\log_2 10 \approx 3.33$ биты для передачи информации. В приведенном выше примере мы можем вывести следующую формулу, которая является формулой количества информации.

Количество информации характеризует тот факт, что чем больше возможных событий в системе, тем больше количество информации для передачи одного из этих событий. Чем больше возможных событий, тем больше неопределенность в отношении того, какое событие произойдет.

H(U(M)) = \log_2 M

S = k_B \ln \Omega

здесь $\Omega$ Количество микросостояний системы соответствует количеству равновероятных событий в системе, поэтому объем информации, измеряющий неопределенность, можно назвать объемом информации. Однако до сих пор изучаемая нами система состоит из таких возможных событий, которую можно рассматривать как идеальную систему, в большинстве случаев состоящую из событий с различными вероятностями.

Информационная энтропия

Фактически, мы можем преобразовать вероятностное событие в вероятность того, что определенное событие произойдет в системе событий с равной вероятностью. То есть мы всегда можем преобразовать вероятностное событие в N равновероятностных событий, таких как вероятность вытащить определенный шар из N шаров. Например, вероятность нашего выигрыша в лотерею равна единице из 2kw, то есть вероятности касания выигрышного шара с шара 2kw, поэтому мы можем разделить 1 на значение вероятности p, чтобы получить число равных вероятностей. Что ж, обладая вышеуказанными знаниями, мы можем вывести общую формулу информационной энтропии из формулы теории информации.

H(U(M) = \log_2 M

p_1 = \frac{1}{M}\\ p_2 = \frac{1}{M}\\ \vdots\\ p_M = \frac{1}{M}\\

Вероятность равного отношения может быть выражена как

H(X) = M \frac{1}{M}\log \frac{1}{p_i}\\

Возьмем в качестве примера подбрасывание монеты. Предположим, что вероятность подбрасывания монеты равна p, а вероятность выпадения решки равна q. Преобразуйте эти два события вероятности в систему равной вероятности и преобразуйте их в систему равной вероятности 1/p и 1 / q числа соответственно. Таким образом, мы можем легко рассчитать количество информации этих двух систем равной вероятности следующим образом

\log \frac{1}{p} \\ \log \frac{1}{q} \\

Затем умножьте две системы с равной вероятностью соответственно на их таблицы вероятностей возникновения и просуммируйте ожидаемое количество информации в текущей системе, что является формулой нашей информационной энтропии.

H(X) = \sum_{i}^M p_i \log \frac{1}{p_i}

Формула информационной энтропии

H(X) = -\sum_{i=1}^n p(x_i) \log p(x_i)

где X в верхнем регистре представляет собой случайное событие, когда событие X принимает значение $x_i$ Вероятность, когда $p(x_i)$

Смысл информационной энтропии

Точно так же, как скорость света является пределом скорости физического мира, информационная энтропия указывает предел коммуникации. Или предел эффективности сжатия данных. Все попытки пробить этот предел бесполезны. Для существования разнообразия возможной информации данные могут быть сжаты путем кодирования для передачи и хранения.

Суммировать

Сегодня мы понимаем, что такое количество информации и что такое информационная энтропия.количество информацииОн измеряет информацию, вызванную возникновением определенного события, а энтропия — это ожидание количества информации, которое может быть сгенерировано до того, как будет получен результат, учитывая все возможные значения случайной величины, то есть все возможные события ожидания от количества информации.