2 Структура обучения PAC (Страница 18 19)

Пример 2.2 Логическое соединение слов

Подумайте о том, чтобы узнать больше всего$n$логические литералы$х_1,…,х_п$Связный концептуальный класс$C_n$.boolean литералы являются переменными$x_i$,$i∈[1,n]$, или его отрицание$\overline x_i$. за$n=4$, пример - союз:$x_1∧ \перечеркнутый x_2∧ x_4$,в$\overline x_2$Представляет логический литерал$x_2$отрицание.$(1,0,0,1)$является положительным примером этой концепции, в то время как$(1,0,0,0)$является отрицательным примером.

Обратите внимание, что для$n = 4$, положительный пример$(1,0,1,0)$означает, что целевое понятие не может содержать текст$\overline x_1$ и $\overline x_3$, а также не может содержать текст$x2$ и $x4$. Напротив, отрицательный пример не так богат, потому что он не знает своего$n$какой из битов неправильный. Поэтому простой алгоритм нахождения непротиворечивых гипотез основан на положительных примерах, состоящий из следующего: Для каждого положительного примера$(b_1,...,b_n)$ и $я ∈ [1,n]$,если $b_i = 1$ но $\overline x_i$исключается как возможный литерал в классе понятий, если$b_i = 0$, то исключить$x_i$. Следовательно, конъюнкция всех неисключенных литералов является гипотезой, соответствующей цели. На рис. 2.4 показаны примеры обучающих выборок и$n = 6$Последовательные предположения в случае.

У нас есть $|H| = |Cn| = 3^n$, потому что каждый литерал может быть положительно включен, отрицательно включен или не включен. Подставьте его к границе сложности выборки консенсусного предположения для любого$\epsilon > 0$и$δ > 0$дает следующие оценки сложности выборки:

Следовательно, самое большее$n$Класс соединения для логического литерала:PACобучаемый. Обратите внимание, что вычислительная сложность также является полиномиальной, поскольку стоимость обучения одного примера составляет$O(n)$. за$δ = 0.02$,$\epsilon = 0.1$ и $n = 10$, предел становится$м ≥ 149$. Поэтому, по крайней мере,$149$маркированные образцы образцов, границы гарантированы$99\%$точность и не менее$98\%$уверенность.

Рисунок 2.4Каждая из первых шести строк таблицы представляет обучающий пример, метка которого$+$ или $-$указано в последней колонке. Если все положительные примеры имеют$i$предметы$0$(или $1$), последняя строка находится в столбце$i ∈ [1, 6]$включен в$0$(или $1$). если $0$ и $1$как первая часть положительного примера$i$появляются записи, затем он содержит ''$?$''. Следовательно, для этой обучающей выборки гипотеза, возвращаемая алгоритмом консенсуса, описанным в статье, имеет вид$\overline x_1 ∧x_2 ∧x_5 ∧x_6$.

Пример 2.3 Класс общего понятия

подумайте о том, чтобы иметь$n$набор всех булевых векторов компонентов$X = \{0, 1\}^n$, и разреши$U_n$ От $X$Концептуальный класс, образованный всеми подмножествами . Можно ли изучить этот концептуальный класс с помощью PAC? Чтобы гарантировать непротиворечивость предположений, класс гипотез должен включать класс понятий, поэтому$|H| ≥ |U_n|=2^{(2^n)}$. Теорема 2.1 дает следующие оценки сложности выборки:

Здесь искомое количество обучающих выборок равно$n$Показатель , который$X$Стоимость представления мидпойнт. следовательно,PACОбучение не гарантируется теоремами. На самом деле нетрудно доказать, что этот родовой класс понятий не являетсяPACобучаемый.