Что такое персептрон

машинное обучение

Персептрон

  • Входными данными является вектор признаков экземпляра, а выходными данными является категория экземпляра, принимающая +1 и -1;
  • Персептрон соответствует гиперплоскости разделения, которая делит экземпляры на положительные и отрицательные категории во входном пространстве и принадлежит дискриминационной модели;
  • Импорт функции потерь на основе неправильной классификации;
  • Используйте градиентный спуск, чтобы минимизировать функцию потерь;
  • Алгоритмы обучения персептрона имеют то преимущество, что они просты и легко реализуемы, и делятся на примитивные формы и двойные формы;
  • Предложенный Розенблаттом в 1957 году, он является основой нейронной сети и машины опорных векторов.

модель персептрона

определение:

  • Предположим, что входное пространство (пространство признаков) равно X⊆Rn\subseteq R^n, выходное пространство: Y={+1, -1}
  • введите хе\inX представляет вектор признаков экземпляра, соответствующий точке во входном пространстве (пространстве признаков), выход yе\inY представляет категорию экземпляра, функцию от входного пространства до выходного пространства:

f(x)=sign(w*x+b)f(x) = sign(w*x + b)

персептрон

  • Параметры модели: w x, внутренний продукт, весовой вектор, смещение,

Символическая функция:sign(x)={+1x>=0−1x<0sign(x) = \begin{cases} +1 \qquad x >=0 \\ -1 \qquad x < 0\end{cases}

Объяснение геометрии персептрона:

Линейное уравнение:w*x+b=0w*x + b = 0

Соответствующий гиперплоскости S, w является вектором нормали, b перехватывает, разделяя положительные и отрицательные классы: разделяя гиперплоскость:

感知机的几何解释.png

стратегия обучения персептрона

Как определить функцию потерь?

Естественный отбор: количество ошибочно классифицированных точек, но функция потерь не является непрерывным выводом w,b, не подходит для оптимизации.

Другой вариант: общее расстояние ошибочно классифицированных точек до гиперплоскости:

расстояние:1∣∣w∣∣∣w*x+b∣>0 \frac {1} {||w||} |w*x + b| > 0

Пункты неправильной классификации:−yi(w*x+b)-y_i (w*x + b)

Неправильно классифицированное расстояние до точки:−1∣∣w∣∣∣w*x+b∣>0 -\frac {1} {||w||} |w*x + b| > 0

Общее расстояние:

−1∣∣w∣∣∑xеM−yi(w*x+b)>0-\frac {1} {||w||} \sum_{x\in M} -y_i (w*x + b) > 0

Функция потерь:

Loss(w,b)=−∑xеMyi(w*x+b)Loss(w, b) = -\sum_{x\in M} y_i (w*x + b)

Алгоритмы обучения персептрона

Min(w, b) = -\sum_{x\in M} y_i (w*x + b)

стохастический градиентный спуск,

Сначала произвольно выберите гиперплоскость, w, b, а затем непрерывно минимизируйте целевую функцию, градиент функции потерь L:

Выберите ошибочно классифицированные точки для обновления:

Категории