Это 6-й день моего участия в августовском испытании обновлений.Подробности о мероприятии:Испытание августовского обновления
Линейная регрессия
Прежде чем понять логистическую регрессию, давайте кратко представим линейную регрессию. Линейная регрессия использует непрерывные переменные для оценки фактических значений (таких как цены на жилье) и определяет оптимальную прямую путем нахождения линейной зависимости между независимой переменной и зависимой переменной, которая называется линией регрессии. И мы выражаем это отношение регрессии как
Регуляризация
Принцип бритвы Оккама: из всех возможных моделей мы должны выбрать модель, которая хорошо объясняет данные и очень проста. С байесовской точки зрения член регуляризации соответствует априорной вероятности модели. Можно предположить, что сложные модели имеют меньшие априорные вероятности, а простые модели имеют большие априорные вероятности.Пусть член регуляризации нормы L2 ||W||2Минимум, который может сделать каждый элемент W очень маленьким и близким к 0. (Норма L1 делает W равным 0), и чем меньше параметр, тем проще модель, а чем проще модель, тем меньше вероятность того, что она вызовет переоснащение.
Почему норма L1 делает веса разреженными?
Любой оператор регуляризации, если он недифференцируем при Wi=0 и может быть разложен в виде «суммирования», то этот оператор регуляризации может достичь разреженности.
Логистическая регрессия
Обзор логистической регрессии
В отличие от линейной регрессии, логистическая регрессия — это не алгоритм регрессии, а алгоритм классификации, который описывается подбором логистической функции для прогнозирования значения дискретной зависимой переменной (предсказание значения вероятности на основе 0 и 1). влияние независимой переменной на зависимую переменную. Может быть одна или несколько независимых переменных. Среди них одна независимая переменная называется одномерной логистической регрессией, а несколько независимых переменных называются множественной логистической регрессией. Например, логистическая регрессия может предсказать вероятность того, что электронное письмо является спамом. В то же время, поскольку результат является значением вероятности, он также может делать прогнозы модели ранжирования для таких результатов, как рейтинг кликов.
Шаги логистической регрессии
Во-первых, найдите подходящую функцию предсказания h(x), чтобы предсказать результат оценки входных данных. Во-вторых, постройте стоимость функции потерь, чтобы представить отклонение прогнозируемого значения функции h (x) от категории данных обучающего набора y (разница между ними и т. д.). Среднее значение или сумма потерь всех обучающих данных обозначается как J(θ), что представляет собой отклонение прогнозируемого значения всех обучающих данных и категории века. Легко понять, что чем меньше J(θ), тем точнее предсказание, поэтому наша цель — найти минимальное значение числа J(θ). Есть много способов найти минимум, здесь мы демонстрируем градиентный спуск. Далее подробно интерпретируем вышеизложенное: Функция прогнозирования:
функция потерь
Функция потерь получена из формулы функции прогнозирования логистической регрессии, Стоит отметить, что указанное выше ω ^ T не является степенью T ω, а транспонируется ω. Если вы изучали линейную алгебру, вы должны быть в состоянии легко понять значение транспонирования, но не имеет значения, если вы этого не сделали, просто подумайте об этом как о ωx и используйте его. Подробный процесс деривации не является базой знаний, которую необходимо освоить. Мы поместим эту часть содержания в приложение к статье. Если вам интересно, вы можете проверить это позже.
Что такое градиентный спуск
Одна из простейших функций, которую мы можем наблюдать
1. Сначала возьмите любое значение x, например -0,8, мы можем получить значение y:
2. Во-вторых, найдите направление обновления. Например, мы обновляем в положительном направлении и получаем изображение следующим образом:
Можно обнаружить, что когда мы обновляем в положительном направлении, мы постепенно приближаемся к конечному результату (нулевой точке). А интервал между двумя обновлениями (здесь 0,1) в машинном обучении мы называем скоростью обучения. Когда скорость обучения слишком велика, x может плохо сходиться; когда скорость обучения слишком мала, скорость сходимости x может быть слишком низкой.
3. Повторяйте шаги 1 и 2, пока x не сойдется
Вышеизложенное является основной идеей градиентного спуска, мы можем получить формулу спуска:
настоящий бой
Фактический код:логистическая регрессия
использованная литература
Блог woohoo.cn on.com/modify Рон Follow/…
blog.CSDN.net/Дональд использует/AR…