Освойте индекс оценки алгоритма регрессии за десять минут

Это 17-й день моего участия в августовском испытании обновлений. Узнайте подробности события:Испытание августовского обновления

Что такое алгоритм регрессии?

Алгоритм регрессии заключается в подгонке исторических данных для формирования уравнения подгонки. Затем это уравнение используется для прогнозирования новых данных. Если это уравнение подгонки для одномерных данных, подгоняется линия. Если данные представляют собой двоичные данные, то его уравнение подгонки представляет собой подгоночную плоскость. Для данных более высокой размерности подгоночное уравнение будет более сложным.

Каковы метрики оценки алгоритмов регрессии?

Для алгоритма регрессии мы оцениваем его качество, глядя на разницу между его предсказанными результатами и нашими реальными результатами. В алгоритме регрессии наиболее часто используемыми показателями оценки являются: средняя абсолютная ошибка значения, среднеквадратическая ошибка, среднеквадратическая ошибка, коэффициент детерминации и т. д.

Метрики оценки для общих алгоритмов регрессии

Средняя абсолютная ошибка (MAE)

ошибка среднего абсолютного значенияЭто вычисление абсолютного значения разницы между прогнозируемым значением и истинным значением каждой выборки, затем суммирование и получение среднего значения. Его формула:

MAE(y, \hat {y}) = \frac{1}{m} \sum_{i=1}^m{(|y_i - f(x_i)|)}

в, $y_i$ это реальная стоимость, $f(x_i) и \шляпа {y}$ является предсказанным значением модели.

Среднеквадратическая ошибка (MSE)

среднеквадратическая ошибкаЭто вычисление квадрата разницы между прогнозируемым значением и истинным значением каждой выборки, затем суммирование и получение среднего значения. Его формула:

MSE(y, \hat {y}) = \frac{1}{m} \sum_{i=1}^m{(y_i - f(x_i))^2}

Среднеквадратическая ошибка (RMSE)

Среднеквадратическая ошибка равнасреднеквадратическая ошибкаНа основании повторного открытия. Его формула:

RMSE(y, \hat {y}) = \sqrt {\frac{1}{m} \sum_{i=1}^m{(y_i - f(x_i))^2}}

Среднеквадратическая логарифмическая ошибка (MSLE)

MSLEрассчитатьквадратичный логарифм ошибки или потериожидания.

MSLE(y, \hat {y}) = \frac {1} {n_{samples} } \sum_{i=0}^{n_{sample}-1}(\log_e(1+y_i)-\log_e(1+ \hat y_i))^2

Средняя абсолютная ошибка в процентах (MAPE, Средняя абсолютная ошибка в процентах)

MAPE — это расчет ожидаемых потерь относительной ошибки. Так называемая относительная ошибкаАбсолютная ошибка и процент истинного значения.

MAPE(y, \hat {y}) = \frac {1} {n_{samples} } \sum_{i=0}^{n_{sample}-1} \frac {|y_i- \hat y_i|}{max(\epsilon, |y_i|)}

в $\epsilon$ является произвольно малым положительным числом, чтобы избежать неопределенных результатов, когда знаменатель равен нулю, когда y равен нулю.

Средняя абсолютная ошибка

средняя абсолютная ошибкаОчень интересно, потому что это ослабляет эффект выбросов. Потери рассчитываются путем взятия медианы всех абсолютных различий между целью и прогнозом.

MedAE(y, \hat {y}) = medain(|y_1- \hat y_1|,...,|y_n- \hat y_n|)

Объясненная дисперсия

Объяснимые различия в статистических средствахРазброс данныхЧасть, которую можно объяснить с помощью математической модели. Вариация обычно количественно определяется дисперсией, поэтому ее также называютобъяснимая дисперсия.

Примечание:

вариацию можно понимать какСтепень дисперсии.

В статистике,Степень дисперсии(dispersion) относится к степени сжатия и растяжения распределения.

Степень дисперсии в основном включает [дисперсию], [стандартное отклонение] и [межквартильный размах].

Степень рассеяния зависит от местоположения или [центральной тенденции].

Индикатор объяснимой дисперсииОн измеряет, насколько близка дисперсия различий между всеми прогнозируемыми значениями и выборкой к дисперсии самой выборки.. Сам по себе контраст представляет собой степень рассеивания.

объясненная_дисперсия(y, \hat {y}) = 1- \frac {Var \{y- \hat y \}} { Var \{y\}}=1- \frac {дисперсия разницы между значением выборки и прогнозируемое значение } {выборочная дисперсия} =

explained_variance(y, \hat {y}) = 1 - \frac { \frac {1} {n} \sum_{i=1}^n {(z_i - \overline z_i)^2}} { \frac {1} {n} \sum_{i=1}^n{(y_i-\overline y)^2}}

Среди них z представляет собой разницу между значением выборки и прогнозируемым значением ( $z=y- \hat y$ ).

Максимальное значение равно 1, и чем ближе значение, тем лучше. Чем больше значение, тем ближе распределение дисперсии предсказанного и выборочного значений. Чем меньше значение, тем хуже.

Коэффициент детерминации R^2 (R-квадрат)

решающий фактор $R^2$ Он используется для измерения доли изменения зависимой переменной, которая может быть объяснена независимой переменной, чтобы судить об объяснительной способности статистической модели. Он делит объясненную дисперсию на общую дисперсию,представляет собой долю общей дисперсии, объясненную или определенную предикторами.

решающий фактор $R^2$ это значение от 0 до 1, $R^2$ Чем он ближе к 1, тем лучше эффект модели, чем ближе к 0, тем хуже эффект модели, конечно $R^2$ Есть и отрицательные значения, что означает, что эффект модели очень плохой.

Его формула:

R^2(y, \hat {y}) = 1 - \frac { \sum_{i=1}^n { (y_i - \hat y_i)^2 } }{ \sum_{i=1}^n{(y_i-\overline y)^2}} =1 - \frac { \frac {1} {n} \sum_{i=1}^n { (y_i - \hat y_i)^2 } }{ \frac {1} {n} \sum_{i=1}^n{(y_i-\overline y)^2}} = 1 - \frac {MSE} {Var}

в, $\overline y$ за $y$ Часть числителя представляет собой сумму квадратов разностей истинного значения и прогнозируемого значения, аналогично среднеквадратической ошибке MSE; часть знаменателя представляет собой сумму квадратов разностей истинного значения и среднего значения, аналогично дисперсии Var .

Сравнение и использование различных показателей оценки

Упомянутые выше показатели, за исключением R Squared, чем меньше, тем лучше. Какой из них использовать, зависит от цели, а комбинация метрик позволяет более глубоко проанализировать модель.

Использовать для одного индикатора

MAE и MedAE основаны на абсолютной ошибке, еслиОбратите внимание на абсолютную ошибку истинного значения и прогнозируемого значения., затем выберите MAE или MedAE, которые являются средним значением и медианой ошибки соответственно.MAE более чувствителен к экстремальным значениям.
еслиСосредоточьтесь на квадрате разницы между фактическим значением и прогнозируемым значением., выберите MSE или RMSE.
Если есть разница на порядок между истинными значениями разных выборок и болееСосредоточьтесь на процентной разнице между прогнозом и истинным значениемВ этом случае MAPE — лучший выбор.
еслиy имеет тенденцию двигаться экспоненциально с x, MSLE подходит.
если модельНадежда состоит в том, чтобы найти зависимую переменную, которая объясняет изменение цели y., более целесообразно использовать R Squared.

Для использования нескольких индикаторов вместе

MAE и RMSE используются вместе, чтобы позволитьСм. дисперсию ошибок выборки. Например, когда RMSE намного больше, чем MAE, можно знать, что ошибки разных примеров сильно различаются.
MAE и MAPE, используемые вместе, в сочетании с $\overline y$ ,МожетОценка того, насколько хорошо модель соответствует образцам разного порядка величины. Например, MAE намного больше, чем $MAPE * \overline y$ , возможно, модель более точно предсказывает выборки с небольшими истинными значениями. Рассмотрите возможность построения разных моделей для выборок разной величины.