Ручная логистическая регрессия — спасение перед собеседованием

некоторые основные понятия

Логистическая регрессия, логистическая регрессия. Хотя в его названии есть слово «возврат», это своего роданелинейная классификацияМодель. Модель логистической регрессии вводит отображение сигмоидальной функции, которая является нелинейной моделью, но по существу представляет собой модель линейной регрессии. Он просто добавляет слой сигмоидального отображения к линейной классификации, поэтому в пространстве выборки, ограниченном сигмоидой, гиперплоскость сегментации LR является линейной. Таким образом, LR — это, по сути, модель линейной классификации.

Здесь нужно обратить внимание: Многие блоги пишут логистическую регрессию только как модель линейной классификации и иллюстрируют, что гиперплоскость сегментации логистической регрессии является линейной, чтобы доказать линейную связь. Я чувствую себя неуместным. Вот личное мнение: пользователи сети приводят пример, что гиперплоскость сегментации логистической регрессии является линейной, и ее выборки больше не исходные выборки, а выборки, которые были отображены сигмоидной функцией. Гиперплоскость сегментации логистической регрессии по-прежнему нелинейна в исходном пространстве выборки. Согласно практике пользователей сети, модель SVM с функцией ядра также является линейной моделью, потому что в многомерном пространстве наша гиперплоскость сегментации SVM всегда является линейной гиперплоскостью.Здесь, я думаю, можно выразить только то, что логистическая регрессия и SVM являются линейными моделями по своей природе, а не то, что они являются линейными моделями.. (Приглашаем пользователей сети опровергнуть)

Почему LR использует функцию Sigmod?

В конечном счете, это происходит из свойств максимальной энтропии сигмоиды. Энтропия может использоваться в распределении вероятностей для представления неопределенности, содержащейся в этом распределении.Чем больше энтропия, тем больше неопределенность. Следовательно, равномерное распределение имеет самую высокую энтропию, потому что в основном новые данные имеют равную вероятность быть любым значением. Сейчас нас интересует распределение с наибольшей энтропией при некоторых предположениях. Другими словами, распределение должно быть как можно более равномерным при условии, что мои предположения удовлетворяют действительности. Например, известное нормальное распределение — это распределение с наибольшей энтропией при условии, что известны среднее значение и дисперсия. Оглядываясь назад на логистическую регрессию, что здесь предполагается? Во-первых, мы моделируем и предсказываем Y|X и думаем, что Y|X подчиняется распределению Бернулли, поэтому нам нужно знать только P(Y|X); во-вторых, нам нужна линейная модель, поэтому P(Y|X) = ф (шх). Далее нам просто нужно знать, что такое f. И это f, которое мы можем вывести по принципу максимальной энтропии, является сигмовидным. Можно видеть, что форма семейства экспоненциальных функций распределения Бернулли, то есть 1/(1 + e^-z)

преимущество:

Линейная регрессия требует, чтобы переменные подчинялись нормальному распределению, в то время как логистическая регрессия не требует распределения переменных.

Он подходит для сценариев, где необходимо получить вероятность классификации.Его выходные результаты можно не только использовать для классификации, но и представлять вероятность того, что образец принадлежит к определенной категории.
Вычислительные затраты невелики, а реализация проста для понимания. LR довольно эффективен с точки зрения требований к времени и памяти. Его можно применять к распределенным данным, а также существуют онлайн-реализации алгоритмов, которые обрабатывают большие данные с меньшими ресурсами.
LR устойчив к небольшому шуму в данных и не сильно зависит от незначительной мультиколлинеарности. (Сильная мультиколлинеарность может быть решена с помощью логистической регрессии в сочетании с регуляризацией L2, но для получения экономичной модели регуляризация L2 — не лучший выбор, поскольку она строит модель, охватывающую все функции.

недостаток:

Его легко недооценить, а точность классификации невысока.
Производительность не очень хорошая, когда функции данных отсутствуют или пространство функций велико.

формула толчка

Определить функцию решения классификации.

Модель линейной бинарной классификации:

$f(x) = \theta^T x$

Функция принятия решения логистической регрессии состоит в том, чтобы вложить эту линейную бинарную классификацию в сигмовидную функцию:

$h_{\theta}(x) = sigmoid(f(x)) = \frac{1}{1+e^{-\theta^Tx}}$

Получите функцию потерь:

Мы используем функцию правдоподобия в качестве потерь для обновления модели, но здесь мы максимизируем функцию правдоподобия, поэтому, строго говоря, окончательная оптимизация состоит в том, чтобы «максимизировать» функцию потерь:

$L(\theta) = p(\hat y|X;\theta) = \prod_{i=1}^m p(y^{(i)}|x^{(i)};\theta)$

$\qquad\qquad \qquad = \prod_{i=1}^m (h_{\theta}(x^{(i)}))^{y^{(i)}} (1-h_{\theta}(x^{(i)}))^{(1-y^{(i)})}$

Эту функцию потерь трудно дифференцировать, поэтому мы регистрируем ее и превращаем в функцию логарифмического правдоподобия:

$loss(\theta) = log(L(\theta)) = \sum_{i=1}^m y^{(i)}log(h(x^{(i)})) + (1-y^{(i)})log(1-h(x^{(i)}))$

Задача оптимизации градиентного спуска (восхождения)

Специальные свойства сигмовидной функции:

$\sigma^{\prime}(x) = \sigma(x)(1-\sigma(x))$

Найдите градиент:

$\frac{d}{d{\theta_i}}loss(\theta) = (y \frac{1}{\sigma(\theta^Tx)}-(1-y)\frac{1}{1-\sigma(\theta^Tx)})\frac{d}{d{\theta_i}}\sigma(\theta^Tx)$

$\qquad \qquad \qquad \qquad \qquad =(y \frac{1}{\sigma(\theta^Tx)}-(1-y)\frac{1}{1-\sigma(\theta^Tx)})\sigma(\theta^Tx)(1-\sigma(\theta^Tx))\frac{d}{d{\theta_i}}\theta^Tx$

$= (y(1-\sigma(\theta^Tx))-(1-y)\sigma(\theta^Tx))x_i$

$= (y-h_{\theta}(x))x_i$

Остерегайтесь некоторое время $\sum$ Ненадолго.На самом деле мы предпочитаем не использовать его.Метод матричного умножения более лаконичен. Просто выражая функцию правдоподобия, используйте $\sum$ Более интуитивно понятный

$\theta_i := \theta_j + \alpha(y^{(i)}-h_{\theta}(x^{(i)}))x_j^{(i)}$