Как линейная регрессия в машинном обучении, это типичная задача регрессии, которая широко используется в процессе машинного обучения из-за ее легкого понимания и сильной интерпретируемости. Чтобы получить более глубокое понимание знаний, связанных с линейной регрессией, Feima.com пригласила г-на Чжана Фэя, который занимался алгоритмической работой в компаниях электронной коммерции, таких как Yihaodian и Feiniu.com, поделиться с нами линейной регрессией. в прямом эфире вечером 12 апреля.
Ниже приводится запись обмена:
1. Концепция регрессии
Регрессия часто используется в нашей повседневной работе, такой как прогнозирование продаж, цен на жилье и т. д. Давайте сначала разберемся, что такое регрессия?
два. взаимосвязь между переменными
Какова связь между двумя переменными? Существуют в основном два типа отношений: детерминированные отношения и недетерминированные отношения. Детерминированные отношения могут быть выражены функциями, такими как отношение между длиной окружности точки и радиусом, отношение между скоростью и временем и расстоянием, функциональное отношение между X и Y и так далее. Недетерминированная зависимость представляет собой макроскопическую взаимосвязь между двумя переменными, которая не может быть точно выражена функциональными зависимостями, такими как взаимосвязь между ростом и возрастом подростка, взаимосвязь между ростом и весом и взаимосвязь между концентрацией лекарственного средства и скоростью ответа.
три. Концепция линейной регрессии
Давайте введем понятие линейной регрессии ниже. Когда существует точная и строгая линейная связь между двумя переменными, Y = a + bX (X — независимая переменная, а Y — зависимая переменная) может использоваться для представления функциональной связи между ними.
Так почему же это называется «возвращение»? Вот краткий обзор. Когда Гальтон изучал рост людей, он обнаружил, что рост отцов и детей не находится в двух крайних точках, а отражает правило: рост сыновей отцов с этими двумя высотами регрессировал к среднему росту их отцов. отцы выше среднего, их сыновья с меньшей вероятностью будут выше, чем ниже, чем ниже; и что отцы ниже среднего роста, их сыновья с меньшей вероятностью будут ниже его. Его более высокая вероятность, это так называемый эффект регрессии.
Четыре. Решение линейной регрессии (оценка параметров регрессии)
1. Метод наименьших квадратов:
Для получения двух параметров a и b требуется расчет по методу наименьших квадратов.Давайте посмотрим на уравнение регрессии на рисунке ниже. Метод наименьших квадратов гарантирует, что сумма квадратов продольных расстояний от измеренных точек до линии регрессии будет наименьшей, а вычисленное уравнение регрессии может наилучшим образом представить линейный тренд, отражаемый измеренными данными.
Давайте кратко рассмотрим пример процесса вычисления методом наименьших квадратов:
Функциональная модель записывается в матричной форме, как показано ниже. от t1 до tn — входные значения, b0 и b1 выполняют матричное умножение, а от y1 до yn — фактические значения.
По данным линкора на картинке ниже просим b1.
Конкретный процесс расчета выглядит следующим образом:
Метод наименьших квадратов, упомянутый выше, используется в бинарном случае. Давайте посмотрим на метод наименьших квадратов в многомерном случае. Он также может быть выражен в матричной форме, как показано на следующем рисунке:
Использование метода операции транспонирования матрицы для решения проблемы будет включать в себя вычисление обратной матрицы, и возникнет проблема.Если объем данных велик, расчет будет очень медленным.Это необходимо для оценки качества подгонки , так что же мы используем индикаторы для его измерения? Первый метод заключается в том, что мы вычисляем SE, SR, ST.
Мы также можем измерить качество подгонки через другой показатель — коэффициент корреляции:
В случае множественной линейной регрессии, когда количество данных относительно велико, метод наименьших квадратов потребляет много ресурсов.Есть ли у нас другие методы? Давайте посмотрим на картинку ниже:
2. Градиентный спуск:
Исходя из этого, мы вводим новый метод решения параметров линейной регрессии — градиентный спуск, который мы часто используем, он требует меньше вычислений и может получить относительно локальное оптимальное решение. Давайте посмотрим на схему метода и алгоритма градиентного спуска:
Градиентный спуск, по сути, предназначен для нахождения минимального значения функции, чтобы ее функция потерь была наименьшей, поэтому использование градиентного спуска для функции потерь может интегрировать градиентный спуск и линейную регрессию, см. рисунок ниже:
① Масштабирование функции градиентного спуска
Чтобы ускорить выполнение градиентного спуска, нам нужно нормализовать функции, Обычно используемые методы нормализации следующие:
Вот задача с упражнениями:
② многомерный градиентный спуск
В практических задачах у нас не может быть только двух признаков, их может быть много, вот пример цен на жилье:
Его функция потерь такая же, как и раньше, за исключением того, что в многомерном случае градиентное решение также меняется с предыдущего на многомерный случай, и получается соответствующее значение.Посмотрим на рисунок:
Давайте рассмотрим пример:
В практической работе этот метод часто используется для решения машинных алгоритмов или в виде транспонированных матриц.
③ Стохастический градиентный спуск
Градиентный спуск имеет проблему масштабируемости.Когда точки выборки большие, расчет будет очень медленным, поэтому далее предлагается алгоритм стохастического градиентного спуска.
Алгоритм стохастического градиентного спуска очень быстр для расчета, но процесс сходимости извилистый.С точки зрения общего эффекта, он может только приближаться к локальному оптимальному решению большую часть времени, но не может реально достичь локального оптимального решения, которое подходит для больших тренировочных наборов.
Его формула представлена на рисунке:
3. Сравните метод наименьших квадратов с градиентным спуском:
После введения метода наименьших квадратов и градиентного спуска давайте сравним их:
пять. расширение регрессии
Последняя часть представляет собой расширение линейной регрессии, в основном представляющее гребенчатую регрессию и регрессию Лассо.
1. Регрессия хребта:
Фактически к исходному уравнению добавляется норма I2, зачем добавлять норму I2? Норма I2 является штрафным членом, который усиливает обобщающую способность модели, предотвращает переоснащение модели в процессе прогнозирования после решения параметров и обеспечивает заданное влияние на результат прогнозирования.
2. Регрессия Лассо:
Он добавляет норму I1.Преимущество I1 в том, что при сохранении документа некоторые коэффициенты для оценки передаются соседям. Разницу между регрессией гребня и регрессией Лассо можно интуитивно увидеть на рисунке ниже.
Вышеупомянутые пять частей являются основным содержанием, которое объяснит г-н Чжан.Следующее является последней сессией вопросов и ответов.Давайте посмотрим, какие существуют проблемы.
1. Нужно ли помнить процесс вывода функции или можно использовать модель?
Учитель Чжан: Когда мы изучаем алгоритмы, мы должны иметь четкое представление об основных принципах алгоритмов, таких как процесс поиска параметров линейной регрессии, метод наименьших квадратов и метод градиентного спуска, Мы должны хорошо владеть этими знаниями. для процесса вывода функций нам не нужно его полностью осваивать, но вы должны четко понимать его принцип, иначе ожидаемого эффекта не будет достигнуто, и вы не знаете, как его настроить.
2. Почему метод наименьших квадратов является оптимальным методом?
Учитель Чжан:Метод наименьших квадратов - это только метод решения линейной регрессии.Этот метод заключается в нахождении квадрата разницы между фактическим значением оси координат и целевым значением.Его точность относительно слабая.Единственная применимая модель линейная регрессия. В течение длительного времени скорость решения будет очень низкой, что приведет к невозможности успешного решения модели. В общем, мы используем метод градиентного спуска для решения значений параметров, которые могут аппроксимировать локальное оптимальное решение, поэтому мы рекомендуем метод градиентного спуска.
3. Как применяется нормализация?
Г-н Чжан: Существует много методов нормализации. Текущее значение минус среднее значение, а затем деление на максимальное значение минус минимальное значение — это относительно простой метод, но этот метод имеет определенные ограничения. порядок нормализации и другие методы. Что касается того, как его применять, мы должны выбрать подходящий метод в соответствии с конкретным сценарием приложения.
Выше приведено все содержание этой онлайн-трансляции, я считаю, что благодаря этому исследованию в реальной работе каждый может более эффективно использовать алгоритм линейной регрессии. Друзья, которые хотят узнать все больше и больше подробностей, вы можете обратить внимание на сервисный номер: FMI Pegasus Network, нажмите на строку меню Pegasus Live, вы можете узнать.