2 Структура обучения PAC (стр. 26)

2.4.3 Ошибки оценки и аппроксимации

Предположение$ч е Н$Разницу между ошибкой и байесовской ошибкой можно разложить следующим образом:

в$h^*$да$H$Гипотеза с наименьшей ошибкой или лучшая в своем классе гипотеза.
Второй член называется ошибкой аппроксимации, потому что он измеряет использование$H$Степень байесовской ошибки может быть аппроксимирована. это набор гипотез$H$Свойство является мерой его богатства. Из-за основного дистрибутива$D$Обычно неизвестна, поэтому ошибка аппроксимации недоступна. Оценить ошибки аппроксимации сложно даже при различных предположениях о шуме.
Первый член - это ошибка оценки, которая зависит от выбранных допущений.$h$. взвешивает предположения$h$Качество относительно лучших в своем классе гипотез. Определение независимого обучения PAC также основано на ошибке оценки. алгоритм$A$Ошибка оценивания , т. е. в выборке$S$Гипотезы вернулись после обучения$h_s$Ошибка оценки , иногда может быть ограничена ошибкой обобщения.
Например, пусть$h^{ERM}_S$представляет собой гипотезу, возвращенную алгоритмом минимизации эмпирического риска, то есть гипотезу, возвращенную с наименьшей эмпирической ошибкой.$h^{ERM}_S$алгоритм. Тогда теорема$2.2$или любой другой предмет$sup_{h\in H}|R(h)-\widehat R(h)|$Установленные ограничения обобщения можно использовать для ограничения ошибки оценивания алгоритма минимизации эмпирического риска. Фактически, переписав ошибку оценки так, чтобы$\widehat R(h^{ERM}_S)$появляться, и использовать определенные по алгоритму$\widehat R(h^{ERM}_S)\leq\widehat R(h^*)$, мы можем написать

---

$3.$когда$H$является конечным набором предположений,$ч ^ *$должны существовать, иначе в этом обсуждении$Р (ч ^ *)$Можно использовать$inf_{h\in H}R(h) вместо этого$.