Расстояние Махаланобиса

«Это второй день моего участия в первом испытании обновлений 2022 года. Подробную информацию о мероприятии см.:Вызов первого обновления 2022 г.".

Расстояние Махаланобиса было предложено индийским статистиком П. К. Махаланобисом и представляет собой расстояние между точкой и распределением. Это эффективный метод для вычисления сходства между двумя наборами неизвестных выборок. иЕвклидово расстояниеРазница в том, что в нем рассматривается связь между различными функциями, и в этой статье представлено содержание, связанное с расстоянием Махаланобиса.

Недостатки евклидова расстояния

Метрики расстояний широко используются в различных дисциплинах, когда данные представляются в виде вектора. $\overrightarrow{\mathbf{x} }=\left(x_{1}, x_{2}, \cdots, x_{n}\right)^{T}$ и $\overrightarrow{\mathbf{y}}=\left(y_{1}, y_{2}, \cdots, y_{n}\right)^{T}$ При наиболее интуитивно понятной метрикой расстояния является евклидово расстояние:

{% raw %}

d(x, y):=\sqrt{\left(x_{1}-y_{1}\right)^{2}+\left(x_{2}-y_{2}\right)^{2}+\cdots+\left(x_{n}-y_{n}\right)^{2}}=\sqrt{\sum_{i=1}^{n}\left(x_{i}-y_{i}\right)^{2}}

{% endraw %}

Однако этот метод измерения не учитывает различий и корреляций между различными измерениями, а разные векторы имеют одинаковый вес при измерении расстояния, что может мешать достоверности результатов.

Расстояние Махаланобиса

Измерьте расстояние между образцом и определенным распределением, сначала стандартизируйте образец и распределение по многомерному стандартному нормальному распределению, а затем измерьте евклидово расстояние.

Мысль

Поверните переменные в соответствии с основными компонентами, чтобы устранить корреляцию между измерениями.
Стандартизируйте вектор и распределение, чтобы каждое измерение было таким же, как стандартное нормальное распределение.

получить

распространяется $n$ Кусок $m$ размерная векторная характеристика, т. е. всего $n$ фрагменты данных, каждый фрагмент данных состоит из $m$ Размерное векторное представление:

{% raw %}

X = \left[ {\begin{array}{*{20}{c}} {{x_{11}}}&{{x_{12}}}& \cdots &{{x_{1n}}}\\ {{x_{21}}}&{{x_{22}}}&{}&{{x_{2n}}}\\ \vdots &{}& \ddots & \vdots \\ {{x_{m1}}}&{{x_{m2}}}& \cdots &{{x_{mn}}} \end{array}} \right]

{% endraw %}

$X$ Среднее значение ${\mu _X}$
$X$ Ковариационная матрица:

\sum\nolimits_X = \frac{1}{n}(X - {\mu _X}){(X - {\mu _X})^T}

Чтобы устранить корреляцию между размерами, через $m \times m$ матрица $Q^T$ правильно $X$ Выполните замену таблицы координат, сопоставьте данные с новой системой координат и используйте $Y$ Выражать:

Y=Q^TX

В этот момент мы ожидаем $Q^T$ под влиянием $Y$ В векторном представлении различные измерения не зависят друг от друга, в это время $Y$ Ковариационная матрица должна быть диагональной матрицей (все элементы, кроме диагональных, равны 0).

Среднее Y: $u_{Y}=Q^{T} u_{X}$
Ковариационная матрица Y:

{% raw %}

\begin{aligned} \Sigma_{Y} &=\frac{1}{n}\left[Y-u_{Y}\right]\left[y-u_{Y}\right]^{T} \\ &=\frac{1}{n}\left[Q^{T}\left(X-u_{x}\right)\right]\left[Q^{T}\left(X-u_{X}\right)\right]^{T} \\ &=Q^{T} \frac{1}{n}\left(X-u_{X}\right)\left(X-u_{X}\right)^{T} Q \\ &=Q^{T} \Sigma_{X} Q \end{aligned}

{% endraw %}

Здесь можно обнаружить, что когда $Q$ да $\Sigma_{X}$ Когда матрица, состоящая из собственных векторов , $\Sigma_{Y}$ Должна быть диагональной матрицей, а значением является собственное значение, соответствующее каждому собственному вектору. так как $\Sigma_{X}$ является симметричной матрицей, поэтому ее определенно можно получить путем собственного разложения $Q$ ,и $Q$ является ортогональной матрицей.
$\Sigma_{Y}$ Диагональные элементы значения $Y$ Таким образом, дисперсия каждого вектора неотрицательна С этой точки зрения можно показать, что собственные значения ковариационной матрицы неотрицательны.
и на самом делеСама ковариационная матрица является положительно полуопределенной., все собственные значения неотрицательны
Несвязанные и независимые вопросы:
- Здесь поясняем, что коэффициент корреляции между преобразованными векторами равен 0, то есть вектор не связан
- На самом деле независимость является более сильным ограничением, чем нерелевантность.Нерелевантность часто не может привести к независимости.
- но вПри распределении Гаусса некоррелированные и независимые эквивалентны

Далее нормализуем вектор

Когда мы вычитаем среднее значение, вектор становится вектором со средним значением 0, а нормализация расстояния лишь немного не доводит дисперсию до 1.
испытав $Y=Q^TX$ После трансформации, $Y$ Ковариационная матрица стала диагональной матрицей, а диагональные элементы равны $Y$ Дисперсия данных каждого измерения в , тогда нам нужно только позволить $Y$ Разделите данные каждого измерения на стандартное отклонение данных измерения.
Мы обозначаем декоррелированные, 0-средние и нормализованные данные как $Z$ :

{% raw %}
$\begin{aligned} Z &= \left[ {\begin{array}{*{20}{c}} {\frac{1}{{{\sigma _1}}}}&{}&{}&{}\\ {}&{\frac{1}{{{\sigma _2}}}}&{}&{}\\ {}&{}& \ddots &{}\\ {}&{}&{}&{\frac{1}{{{\sigma _n}}}} \end{array}} \right](Y - {\mu _Y}) \\&= \Sigma _Y^{ - \frac{1}{2}}{Q^T}(X - {\mu _X}) \\ &= ({Q^T}{\Sigma _X}Q)_{}^{ - \frac{1}{2}}{Q^T}(X - {\mu _X}) \end{aligned}$
{% endraw %}
Расстояние Махаланобиса - это вектор с метрической поправкой. $Z$ Евклидово расстояние до распределительного центра (начала):

{% raw %}

\begin{array}{l} {D_M}(X) & = \sqrt {{Z^T}Z} \\&= \sqrt {{{\left( {X - {u_X}} \right)}^T}Q{{\left( {{Q^T}{\Sigma _X}Q} \right)}^{ - \frac{1}{2}}}{{\left( {{Q^T}{\Sigma _X}Q} \right)}^{ - \frac{1}{2}}}{Q^T}\left( {X - {u_X}} \right)} \\ &= \sqrt {{{\left( {X - {u_X}} \right)}^T}Q{{\left( {{Q^T}{\Sigma _X}Q} \right)}^{ - 1}}{Q^T}\left( {X - {u_X}} \right)} \\ &= \sqrt {{{\left( {X - {u_X}} \right)}^T}Q{Q^{ - 1}}\Sigma _X^{ - 1}Q{Q^T}\left( {X - {u_X}} \right)} \\ &= \sqrt {{{\left( {X - {u_X}} \right)}^T}\Sigma _X^{-1}\left( {X - {u_X}} \right)} \\ \end{array}

{% endraw %}