1. Binary Classificationin (алгоритм бинарной классификации)

(1) Метод представления изображения

Введение: Дайте вам картинку и определите, кошка ли это (1: кошка против 0: не кошка).

Принцип: двумерное изображение представлено в виде трех основных цветов (т. е. красного, зеленого, синего), каждый из основных цветов может быть использован.$64 \times 64$Представляется матрица, и она накладывается на каждую позицию пикселя для получения цвета каждого пикселя.

Легко узнать, 1 или 0 в качестве вывода$y$, в то время как элементы основной цветовой матрицы используются в качестве входных данных$x$. Вот и возникает вопрос: как хранить это$64 \times 64 \times 3$номер? Ответ прост, используйте$(64 \times 64 \times 3) \times 1$Хранение вектора признаков , пересекает элементы от красного к зеленому и синему, размерность вектора равна$n_x=12288.$

$x=\left[ \begin{matrix} 255\\231\\ ... \\255\\134\\...\\255\\134\\... \end{matrix} \right].$

(2) Метод представления символов (обозначение)

$(x,y)$для одного образца,$x \in R^{n_x},y \in \{0,1\}.$ $m$обучающие образцы:$\{(х^{(1)},у^{(1)}), (х^{(2)},у^{(2)}),...,(х^{(м)} ,y^{(m)})\}.$Для более компактного представления обучающей выборки она включена в виде матрицы:

$X=\left[ \begin{matrix} ... & ... & ... & ... & ...\\ ... & ... & ... & ... & ... \\ x^{(1)} & x^{(2)} & x^{(3)} & ... & x^{(m)} \\ ... & ... & ... & ... & ... \\... &...&...&...&...\end{matrix} \right].$

Среди них количество столбцов$m$размер выборки, количество строк$n_x$размерность каждого входного вектора. Уведомление! В глубоком обучении мы обычно используем вышеуказанноеукладка колонн, что может упростить процесс сборки.

$x \in R^{n_x \times m}.$В программировании на питонеX.shape = (n_x, m)

Аналогично, этикетка$y$в столбец, определяемый следующим образом:$Y=\left[ \begin{matrix} y^{(1)} & y^{(2)} & y^{(3)} & ... & y^{(m)} \end{matrix} \right].$ $y \in R^{1\times m}.$В программировании на питонеY.shape = (1, m)

Резюме нотации: если она представлена ​​в виде хорошей условной нотации, она может связать данные разных обучающих выборок.

3. Базовые знания логистической регрессии

Введение: в примере «судить, кошка ли это» в приведенном выше примечании, когда дается ввод$x$, мы хотим получить вероятностный результат, то есть "Какова вероятность быть кошкой?" То есть решить:$\widehat{y}=P\{y=1|x\}.$Известный:$x\in R^{n_x}.$параметр:$w\in R^{n_x},b\in R.$Это приводит к выводу:$z=w^T+b.$Однако это о$x$не отображает результат в линейную функцию$[0,1]$В интервале, то есть, значение вероятности не может быть выражено. Итак, в логистической регрессии мы будем$sigmoid$функционировать, чтобы$w^T+b$есть,$\widehat{y}=sigmoid(z).$

$sigmoid(z)=\frac{1}{1+e^{-z}}.$

Примечание: следующие параметры$w/b$В представлении мы рассматриваем эти два параметра отдельно, вместо того, чтобы использовать$w/b$методы, написанные в одном и том же векторе параметров.

В-четвертых, функция стоимости логистической регрессии (функция стоимости/затраты)

Нам нужно пройти данный$m$Учебный набор образцов для изучения и подбора наиболее подходящих параметров$w/b$, чтобы получить результат:$\widehat{y}^{(i)} \approx y^{(i)}.$Определите функцию потери (ошибки) функции потери/ошибки:$L(\widehat{y},y)=\frac{1}{2}(\widehat{y}-y)^2.$Однако в логистической регрессии не рекомендуется использовать указанную выше функцию потерь, потому что при обучении параметров проблема обсуждения станет невыпуклой, поэтому ее непросто использовать для градиентного спуска (найти несколько локальных оптимальных решений, но можно найти меньше глобального оптимума) Итак, определим следующую функцию потерь:$L(\widehat{y},y)=-(ylog\widehat{y}+(1-y)log(1-\widehat{y})).$Почему эта функция выбрана в качестве функции потерь? Следующая формула может объяснить, почему:Краткое резюме:

• $y=1$час,$\widehat{y}^{(i)} \to 1$сделать$L(\widehat{y},y)$минимум;
• $y=0$час,$\widehat{y}^{(i)} \to 0$сделать$L(\widehat{y},y)$минимум;

Приведенная выше функция потерь измеряет производительность на одном образце, теперь определите функцию стоимости функции стоимости для измерения производительности на всей выборке:$J(w,b)=\frac{1}{m}\sum_{i=1}^m L(\widehat{y}^{(i)},y^{(i)}).$

$J(w,b)=-\frac{1}{m}\sum_{i=1}^m[y^{(i)}log\widehat{y}^{(i)}+(1-y^{(i)})log(1-\widehat{y}^{(i)})].$

• Функция потери потери: производительность одного образца
• функция стоимости стоимости: производительность всей выборки

5. Градиентный спуск

Общая функция затрат:$J(w,b)=-\frac{1}{m}\sum_{i=1}^m[y^{(i)}log\widehat{y}^{(i)}+(1-y^{(i)})log(1-\widehat{y}^{(i)})].$будет$ж и б$по двум осям, то$J(w,b)$То есть точка на изображении функции, точка, которую нам нужно найти, является самой нижней точкой изображения, а именно:Функция стоимости является выпуклой функцией, поэтому независимо от того, как вы инициализируете параметры, в конечном итоге вы должны достичь примерно одной и той же точки. Здесь мы используем метод «градиентного спуска».Метод градиентного спуска: из начальной точки сделать шаг в направлении самого крутого спуска (спуститься как можно быстрее), что является первой итерацией градиентного спуска. Продолжайте выполнять итерации, в конечном итоге надеясь сойтись к глобальному оптимуму или приблизиться к глобальному оптимуму.

Чтобы более наглядно показать метод градиентного спуска,$w$и$J(w)$Например, чтобы нарисовать двумерную плоскую систему координат, необходимо постоянно обновлять$w$сделать$J(w)$достичь минимального значения.

$w :=w-\alpha\frac{d J(w)}{dw}.$Среди них в формуле:=Символ означает обновление значения переменной,$\alpha$это скорость обучения. В программировании обычно$\frac{d J(w)}{dw}$письмо$dw$, то есть приведенную выше формулу можно упростить до:$w :=w-\alpha dw.$Так что анализируйте$J(w,b)$Обновление параметра в , имеет следующую формулу:$w:=w-\alpha \frac{\partial J(w,b)}{\partial w}.$

$b:=b-\alpha \frac{\partial J(w,b)}{\partial b}.$Так же и при программировании$\frac{\partial J(w,b)}{\partial w}$письмо$dw$,$\frac{\partial J(w,b)}{\partial b}$письмо$db.$

6. Градиентный спуск в логистической регрессии

$z=w^Tx+b\\\widehat{y}=a=\sigma(z)=\frac{1}{1+e^{-z}}\\L(a,y)=-(ylog(a)+(1-y)log(1-a))$Предположим, что образец имеет 2 функции$x_1,x_2$, есть еще параметры$w_1,w_2,b.$ в соответствии сАлгоритм обратного распространения для вычислительных графов (цепное правило вывода), получаем следующие результаты расчета:$da=\frac{L(a,y)}{da}=-\frac{y}{a}+\frac{1-y}{1-a}\\ dz=\frac{dL(a,y)}{dz}=\frac{dL(a,y)}{da}\frac{da}{dz}$Тогда вот проблема! Этот вопрос также активно обсуждается в курсе -$\frac{da}{dz}$Как это решить?$a=\sigma(z)=\frac{1}{1+e^{-z}}\\ \Rightarrow \frac{da}{dz}=\frac{e^{-z}}{(1+e^{-z})^2}=a(1-a)$На самом деле он включаетЗамените дробь независимой переменной z обратно дробью зависимой переменной a.Окончательный расчет:$dz=a-y.$Затем считайте налево,$dw_1=x_1dz\\dw_2=x_2dz\\db=dz$После получения вышеуказанных значений производной может быть реализован шаг обновления градиента для одного экземпляра выборки, и результат близок к глобальному оптимуму в соответствии с методом настройки параметров в методе градиентного спуска.$w_1:=w_1-\alpha dw_1\\w_1:=w_2-\alpha dw_2\\b:=b-\alpha db$Примечание. Обновите значения параметров с помощью:=Символьное представление.

Однако мы знаем, что при обучении модели используется более одной обучающей выборки, когда$m$Как мы будем применять метод градиентного спуска логистической регрессии, когда используется весь обучающий набор образцов?

7. Градиентный спуск m выборок

Примените градиентный спуск в логистической регрессии к$m$В этом образце, на самом деле, используется большая петля для сопряжения$m$Рассчитайте параметры каждого образца, а затем суммируйте и усредните, чтобы получить значение глобального градиента.

Алгоритм псевдокода

Слабые стороны и улучшения алгоритмов

• Алгоритм использует дваполностью явныйиз$for$Циклы могут сделать алгоритмы неэффективными - от 1 до$m$Процесс расчета каждой выборки с обходом всех признаков ($dw_1,...,dw_n,$размерность$n_x$)
• вообще бесполезноПолностью явный цикл for, который может обрабатывать большие наборы данных. есть дверьтехника векторизации, вы можете избавиться от явного$for$цикл!