Машинное обучение (Машинное обучение) Часть 3

Машинное обучение (Машинное обучение) II:nuggets.capable/post/684490…

проблема классификации

Чтобы попробовать классификацию, один из способов — использовать линейную регрессию и сопоставить все прогнозы больше 0,5 с 1 и все прогнозы меньше 0,5 с 0. Однако этот метод не работает, потому что классификация на самом деле не является линейной функцией.

Проблема классификации похожа на проблему регрессии, за исключением того, что значения, которые мы хотим предсказать, теперь занимают лишь небольшое количество дискретных значений. Сейчас мы сосредоточимся на проблемах бинарной классификации, где y может обрабатывать только два значения, 0 и 1. (Большая часть того, что мы здесь говорим, также обобщается на случай мультиклассов.) Например, если мы пытаюсь построить для электронной почты Spam ClassifierX (i) y может быть равно 1, если это спам, и 0 в противном случае. Следовательно, y∈{0,1}. 0 также называют отрицательным классом, 1 — положительным классом, их также иногда обозначают символами «-» и «+». X(i), соответствующий Y(i) Также известен как метка обучающего примера.

Выражение гипотетической функции

Мы можем справиться с проблемой классификации, игнорируя тот факт, что y является дискретным значением, и использовать наш старый алгоритм линейной регрессии, чтобы попытаться предсказать заданное значение x. Но этот метод работает очень плохо.

Интуитивно мало смысла для h θ(x) принимать значения больше 1 или меньше 0, когда y∈{0,1}. Для решения этой задачи изменим вид гипотетической функции hθ(x) так, чтобы она удовлетворяла условию

Наша новая форма использует «сигмоидальную функцию», также известную как «логистическая функция»:

На изображении ниже показано, как выглядит сигмовидная функция:

Показанная здесь функция g(z) отображает любое действительное число в интервал (0,1), что делает очень полезным преобразование функций с произвольными значениями в функции, более подходящие для классификации.

hθ(x) даст вероятность того, что выход равен 1. Например: hθ(x) = 0,7, что означает, что вероятность того, что наш результат равен 1, составляет 70%, а вероятность того, что наш прогноз равен 0, является просто дополнением к нашей вероятности того, что он равен 1 (например, если вероятность что это 1 составляет 70%, то его вероятность 0 0 составляет 30%).

граница решения

Чтобы получить дискретную классификацию 0 или 1, мы можем преобразовать вывод гипотетической функции следующим образом:

Наша логистическая функция g ведет себя так, что ее выход больше или равен 0,5, когда ее вход больше или равен нулю:

Примечание:

так

Из этих утверждений мы можем теперь сказать:

Граница решения находится там, где y = 0 и где y = 1, что является линией, которая создает область разделения с помощью нашей гипотетической функции.

Пример:

В этом случае граница нашего решения представляет собой прямую вертикальную линию, расположенную на графике X1=5, все, что слева, означает y=1, а все, что справа, означает y=0.

Пример:

Точно так же вход сигмовидной функции g (z) (например, θ ^ TX) не обязательно должен быть линейным и может быть функцией, описывающей окружность (например,

) или любую форму, которая соответствует нашим данным.