Это мой третий день участия в Gengwen Challenge, ознакомьтесь с подробностями мероприятия:Обновить вызов.
Эта статья представляет собой заметки о курсе машинного обучения г-на Ли Хунъи, портал курса?.
[Машинное обучение 2021] Прогноз количества зрителей на этом канале (Часть 2) — Введение в основные концепции глубокого обучения
Ограничения модели смещения модели
Линейная модель может быть слишком простой. Для линейной модели отношение между x1 и y представляет собой прямую линию. По мере того, как x1 становится все выше и выше, y должно становиться все больше и больше. Вы можете установить разные w, чтобы изменить наклон этой линии, и вы можете установить разные b, чтобы изменить пересечение этой синей линии и оси Y, но независимо от того, как вы меняете w и b, это всегда будет прямая линия. , всегда Чем больше x1, тем больше Y. Чем больше людей смотрели предыдущий день и тем больше людей смотрели на следующий день.
Но может в реальности все не так, как красная линия внизу, может когда х1 меньше определенного значения, количество зрителей в предыдущий день пропорционально количеству зрителей в следующий день, когда х1 больше пик, количество зрителей позавчера слишком велико. Если оно велико, количество зрителей уменьшится на следующий день. Мы никогда не сможем использовать линейную модель для построения красной линии, поэтому очевидно, что линейная модель имеет много ограничений.Model Bias.
Кусочно-линейные кривые Кусочно-линейные кривые
Смещение модели не совпадает с упомянутым выше смещением b. Это означает, что Модель не может имитировать реальную ситуацию. Нам нужно написать более сложную, более гибкую функцию с неизвестными параметрами.
Посмотрите на эту кривую красного цвета, ее можно увидеть как константу плюс кучу синих функций. Характеристики этой синей функции таковы: когда значение по оси x меньше определенного порога, это определенное значение, когда оно больше другого порога, это другое фиксированное значение, есть наклон в середина. Итак, сначала уровень, затем рампа, затем уровень.
Примечание: Линия, отмеченная цифрой 1, соответствует первому сегменту красной кривой, начальная точка наклона — начальная точка первого красного сегмента, а конечная точка — конечная точка второго красного сегмента, их наклоны одинаковы. , Добавьте линию, отмеченную 0, к линии, отмеченной 1, и она станет первым сегментом красной кривой. Точно так же вы можете нарисовать 2-ю и 3-ю прямые линии, и, наконец, 0 + 1 + 2 + 3 могут получить полную красную кривую.
Мы называем приведенную выше кривую, состоящую из множества отрезков, похожих на красную кривую, кусочно-линейными кривыми, которую на китайском языке можно назвать кусочно-линейной кривой. То есть у нас есть способ комбинировать его с постоянным членом и большим количеством синих Функций, чем больше поворотных моментов, тем больше синих Функций нам нужно.
Дойдя до крайности, это кривая, подобная той, что показана ниже, мы можем взять на ней несколько точек и соединить эти точки, чтобы сформировать кусочно-линейные кривые, если точки взяты в нужном месте и достаточно, у нас достаточно синего Функция, она будет бесконечно аппроксимировать саму кривую.
Таким образом, связь между x и y может быть очень сложной, но мы можем найти способ написать функцию с неизвестными, которая представляет собой набор синих функций плюс константа.
Sigmoid Function
Итак, как написать эту функцию? Не так-то просто записать ее напрямую, но мы можем аппроксимировать ее кривой, которую мы называем сигмовидной функцией.
Примечание: Когда входное значение x1 приблизится к бесконечности, элемент e исчезнет, а этот элемент сойдется к месту, где высота равна c; Когда x1 приближается к отрицательной бесконечности, знаменатель будет очень большим, а значение y будет приближаться к 0; Таким образом, кривая, нарисованная такой функцией, может быть использована для аппроксимации синей функции.
Регулируя b, w и c, мы можем создавать сигмовидные функции различных форм, а затем использовать сигмоидальные функции различных форм для аппроксимации синей функции, и после их суммирования мы можем аппроксимировать различные кусочно-линейные кривые.
Наконец, наша формула становится следующей: это очень гибкая функция с неизвестными параметрами. Красная подчеркнутая часть — это наша оригинальная синяя функция.
Сборник терминов
| английский | китайский язык |
|---|---|
| Model Bias | предвзятость модели |
| threshold | порог, критическая точка |
| Piecewise Linear Curves | Кусочно-линейная кривая |
| Sigmoid Function | сигмовидная функция |