Оценка, систематическая ошибка и дисперсия

Эта статья была впервые опубликована из публичного аккаунта:RAIS

предисловие

Эта серия статей является«Глубокое обучение»Читая заметки, вы можете обратиться к оригинальной книге, чтобы читать вместе, эффект лучше.

оценить

Цель статистики — сделать вывод, и многие статистические данные предназначены для лучшего вывода, который представляет собой оценку, предположение о вероятности, основанное на существующей информации.

Точечная оценка: точечная оценка относится к использованию выборочных данных для оценки параметров совокупности, а оценочный результат представляет собой значение точки, поэтому она называется точечной оценкой. Это определение очень широкое, $\hat{\theta}_m=g(x_1, x_2, ..., x_m)$ , где ограничений на g почти нет, за исключением того, что лучшее g будет близко к истинному θ.
Оценка функции: это отношение отображения, такое как, где ϵ непредсказуемо по x, нас не волнует, нас интересует оценка функции f, которая является отображением от входа к выходу.

отклонение

Расчетное смещение определяется как: $bias(\hat{\theta}_m)=E(\hat{\theta_m})-\theta$ , что хорошо понятно, расстояние между оценкой и фактическим значением есть отклонение, если отклонение равно 0, то $\hat{\theta}$ да $\theta$ является несмещенной оценкой , если смещение приближается к 0, когда m приближается к бесконечности, то $\hat{\theta}$ да $\theta$ прогрессивный и беспристрастный.

дисперсия

Выше мы использовали математическое ожидание оценщика для вычисления смещения, мы также можем использовать дисперсию оценщика для измерения степени изменения оценки, мы хотим ожидать, что оба значения будут небольшими.

Для распределения Гаусса имеем:

выборочное среднее $\hatμ_m=\frac{1}{m}\sum_{i=1}^mx^{(i)}$ – несмещенная оценка гауссовского среднего параметра µ;
выборочная дисперсия $\hatσ_m^2=\frac{1}{m}\sum_{i=1}^m(x^{(i)}-\hatμ_m)^2$ дапредвзятая оценка;
Непредвзятая выборочная дисперсия $\hatσ_m^2=\frac{1}{m-1}\sum_{i=1}^m(x^{(i)}-\hatμ_m)^2$ даобъективная оценка

Беспристрастная выборочная дисперсия, безусловно, хороша, но не всегда лучшая, а иногда и некоторые необъективные оценки тоже хороши. Например, в машинном обучении очень полезно среднее стандартное отклонение:

SE(\hatμ_m)=\sqrt{Var[\frac{1}{m}\sum_{i=1}^mx^{(i)}]}=\frac{σ}{\sqrt{m}}

или написано как

σ_{\overline X}=\sqrt{Var(\overline X)}=\sqrt{\frac{1}{m}Var(X)}=\frac{σ}{\sqrt{m}}

Среднеквадратическая ошибка (MSE)

MSE=E[(\hatθ_m-θ)^2]=Bias(\hatθ_m)^2+Var(\hatθ_m)

Смещение и дисперсия измеряют два разных источника ошибок в оценке. Смещение измеряет отклонение от истинной функции или параметра. Дисперсия измеряет ожидаемое отклонение оценки, которое может возникнуть в результате любой конкретной выборки данных. Как выбрать одну оценку, одну с большим отклонением и один с большой дисперсией? Выберите вариант с меньшей MSE, потому что MSE используется для измерения ошибки обобщения. Сумма смещения и дисперсии представляет собой среднеквадратичную ошибку:

Суммировать

В этой статье в основном представлены оценка, смещение и дисперсия, которые можно использовать для формальной характеристики переобучения.

Эта статья была впервые опубликована из публичного аккаунта:RAIS