1. Две интерпретации функции потерь линейной регрессии

Функция потерь линейной регрессии представляет собой функцию потерь в квадрате, зачем использовать квадратную форму, см.:Зачем использовать квадратную форму функции потерь линейной регрессии, говори четче.
В линейной регрессии для обучающих выборок данных ( x i , y i ) , у нас есть следующая подобранная линия:

у я ˆ =θ ⋅x я
Построенная функция потерь:
C =∑ i =1 n (y i −y i ˆ ) 2
представляет каждую тренировочную точку ( x i , y i ) к установленной линии y i ˆ =θ ⋅ x i Сумма квадратов вертикальных расстояний, минимизируя указанную выше функцию потерь, можно найти наилучшие параметры для подбора прямой линии .
Причина, по которой функция потерь здесь использует квадратную форму, заключается в использовании идеи «наименьших квадратов», где «квадраты» относятся к использованию квадратов для измерения расстояния (дальнего и близкого) между точкой наблюдения и оценкой. точка, а "минимум" означает значение параметра, обеспечивающее минимизацию суммы квадратов расстояний между каждой точкой наблюдения и расчетной точкой.
Второе объяснение — это идея ошибки оценки максимального правдоподобия, которая пока непонятна, так что оставьте ее пока. Ссылаться на:blog.CSDN.net/salt River/Ах…

Во-вторых, функция потерь логистической регрессии

Функция потерь для логистической регрессии использует логарифмическую функцию потерь вместо квадратичной функции потерь. Функция квадрата потерь получена из линейной регрессии, предполагающей, что выборки удовлетворяют распределению Гаусса, в то время как логистическая регрессия предполагает, что выборки подчиняются распределению Гаусса.Распределение Бернулли (распределение 0-1).
Бернулли распределенФункция массы вероятности pmfза:

P (X = n) = { p 1 −p , n = 1 , n = 0

1. Форма логарифмической функции потерь

L (Y,P (Y| X))= -logP (Y| X) Эта логарифмическая функция потерь означает, что при классификации Y достигается максимальное значение P(Y|X). Если модель предсказывает классификацию с наибольшей вероятностью, а Y представляет правильную классификацию, а P(Y|X) представляет вероятность правильной классификации, то обратный логарифм равен Чем больше P(Y|X), тем меньше функция потерь. При P(Y|X)=1 потери сводятся к 0, и меньше быть не может.
Функция правдоподобия распределения Бернулли может быть записана как:

L (θ)=∏ i =1 м P (y=1| x i ) y i P (y =0| x i ) 1 −y i
Логарифмическая функция правдоподобия:
log L(θ)= ∑ i =1 m [y i logP (y = 1| x i )+ (1− y i )log (1 − P (y = 1| x i )) ]
Одним из них является логарифмическая потеря, которая может быть выражена в логистической регрессии как:
L (Y,P (Y| X)) = −logP (Y| X)=y i logP (Y | X )+( 1−y i )log (1−P (Y | X ))
в P(Y|X)=P(y=1|x) .
Изображение функции потерь показано ниже.:

2. Получите целевую функцию непосредственно в соответствии с формой логарифмической функции потерь

логистическая регрессия P (Y=y | x) выражается следующим образом, что соответствует распределению Бернулли:

P (X=y | x)=⎧ ⎩⎨ h θ (x)=g(f (x))=1 1 +exp p(− f( x)) 1 −h θ (x )=1 −g ( f (x)) = e xp (− f (x )) 1 + e xp (−f (x )) , y = 1 , y = 0
Стандартная форма логарифмической функции потерь:
L (Y,P (Y| X)) = −log( Y| X )
Подставляя выражение логистической регрессии в логарифмическую функцию потерь, мы получаем:
L (y, P (Y = y | X)) = {log (h θ (x)) log (1 − h θ (x )) , y = 1 , y = 0
Упростите приведенную выше формулу, чтобы получить окончательную целевую функцию:
J (θ) = −1 м ∑ i = 1 м [ y i log ( h θ ( x i )) + ( 1 − y i ) log (1 − h θ ( x i )) ]

Ссылаться на:
Ууху. Call.com/question/27…
blog.CSDN.net/salt River/Ах…
blog.CSDN.net/salt River/Ах…