19-20 (1.2.2 Ожидание и ковариация)

1.2.2 Ожидание и ковариация

Одной из наиболее важных операций, связанных с вероятностью, является получение средневзвешенного значения функции. Распределения вероятностей $p(x)$ некоторые функции под $f(x)$ Среднее значение называется $f(x)$ Ожидаемая стоимость, использование $E[f]$ Выражать. Для дискретных распределений это определяется выражением

E[f]=\sum_xp(x)f(x)\tag{1.33}

Таким образом, среднее значение определяется $x$ Веса относительных вероятностей различных значений . В случае непрерывных переменных ожидаемое значение выражается в виде интеграла по соответствующей плотности вероятности

E[f]=\int p(x)f(x)dx\tag{1.34}

В обоих случаях, если мы получим из распределения вероятностей или плотности вероятности конечное число $N$ баллов, то ожидаемое значение можно аппроксимировать как конечную сумму этих баллов

E[f]\simeq \frac{1}{N}\sum_{n=1}^Nf(x_n)\tag{1.35}

Мы будем широко использовать этот результат при обсуждении методов выборки в главе 11. Аппроксимация в (1.35) находится в пределе $N\rightarrow\infty$ стать точным внутри.

Иногда мы рассматриваем ожидаемое значение функции нескольких переменных, и в этом случае мы можем использовать нижний индекс, чтобы указать, какая переменная усредняется, например.

E_x[f(x,y)]\tag{1.36}

Функция представления $f(x,y)$ относительно $x$ среднее значение распределения. Уведомление, $E_x[f(x,y)]$ будет $y$ Функция.

Мы также можем рассмотреть условные ожидания на условных распределениях, такие что

E_x[f(y)]=\sum_xp(x|y)f(x)\tag{1.37}

Аналогичное определение для непрерывных переменных.

$f(x)$ Дисперсия определяется как

var[f]=E[(f(x)-E[f(x)])^2]\tag{1.38}

и обеспечивает измерение, а именно $f(x)$ в среднем $E[f(x)]$ Как много изменилось вокруг. Развернув квадрат, мы видим, что дисперсию можно использовать и с $f(x)$ и $f(x)^2$ ожидаемая стоимость

var[f]=E[f(x)^2]-E[f(x)]^2\tag{1.39}

В частности, мы можем рассмотреть переменную $x$ сама дисперсия, которая определяется

var[x]=E[x^2]-E[x]^2\tag{1.40}

Для двух случайных величин $x$ и $y$ , ковариация определяется следующим образом:

cov[x,y]=E_{x,y}[\{x-E[x]\}\{y-E[y]\}]=E_{x,y}[xy]-E[x]E[y]\tag{1.41}

выражать $x$ и $y$ степень изменения вместе. если $x$ и $y$ независимы, то их ковариантность исчезает.

в случайных величинах $x$ и $y$ В случае двух векторов ковариация представляет собой матрицу

cov[x,y]=E_{x,y}[\{x-E[x]\}\{y^T-E[y^T]\}]=E_{x,y}[xy^T]-E[x]E[y^T]\tag{1.42}

Если мы рассмотрим вектор $x$ ковариация между компонентами , то мы используем немного более простое обозначение $cov[x]\equiv cov[x,x]$ .