Это 9-й день моего участия в ноябрьском испытании обновлений, подробности о событии:Вызов последнего обновления 2021 г.

Одномерная линейная регрессия

Принцип алгоритма

y = wx + b - процесс нахождения w и b - нахождение w и b с минимальной среднеквадратичной ошибкой [наименьшие квадраты] / нахождение оценки максимального правдоподобия

Наименьших квадратов

Найдите расстояние от точки до линии, параллельной оси y [ошибка xi между точкой и линией] - линейная регрессия
ΣXi - среднеквадратическая ошибка

То есть найти линию с наименьшей среднеквадратичной ошибкой, то есть найти w и b, которые минимизируют среднеквадратичную ошибку, что называется методом наименьших квадратов.

Найдите расстояние до точки, перпендикулярной оси Y — ортогональная регрессия

оценка максимального правдоподобия

Найдите распределение с наибольшей вероятностью появления выборки

использовать

Найдите значение параметра распределения вероятностей [например: σ, μ нормального распределения]

выражение

функция логарифмического правдоподобия

Поскольку оценка максимального правдоподобия представляет собой мультипликативно-логарифмически упрощенный составной мультипликативный член

Оценка максимального правдоподобия с учетом ошибок

y = wx + b + ε
ε- Можно предположить, что это нормальное распределение со средним значением 0 (ошибка обычно колеблется около 0, центральная предельная теорема - соответствует нормальному распределению)
∴ — получите функцию плотности вероятности ε — замените ε на y-wx-b, тогда вы получите нормальное распределение y, μ равно (wx+b)

Затем по-прежнему найдите w и b в соответствии с предыдущим методом оценки максимального правдоподобия.

найти w и b

1. Найдите выпуклую функцию

1. Найдите матрицу Гессе
2. Определить, является ли матрица положительно определенной

Найдите четыре частные производные по отдельности

2. Найдите наибольшую ценность

Задача нахождения максимального значения выпуклой функции

Дополнительные очки знаний

1. Выпуклая функция - аналогична ⚪, линия, образованная любыми двумя точками круга, находится внутри круга, а вогнутая функция не обязательно

Вогнутая вниз функция в машинном обучении является выпуклой функцией, потому что это процесс поиска оптимального решения.

2. Градиент - Первая производная многомерной функции - Найдите каждую первую частную производную

3. Матрица Гессе — вторая производная многомерной функции

Преобразование суммы в вектор - numpy решает быстрее

Множественная линейная регрессия

Множественные функции - x становится векторным скаляром - векторная производная - градиент - частная производная для каждого компонента

Логарифмическая регрессия шансов — алгоритм классификации

На основе линейной модели устанавливается функция отображения для достижения цели классификации.

Линейный дискриминантный анализ для бинарной классификации

Принцип алгоритма

После обучения выборки проектируются:

1. Неоднородные центры выборки как можно дальше
2. Одна и та же выборочная дисперсия как можно меньше