Алгоритмы обучения без учителя

искусственный интеллект
  • Эта статья была впервые опубликована из публичного аккаунта:RAIS, нажмите, чтобы следовать напрямую.

предисловие

Эта серия статей является«Глубокое обучение»Читая заметки, вы можете обратиться к оригинальной книге, чтобы читать вместе, эффект лучше.

Алгоритмы обучения без учителя

Это неконтролируемый метод обучения, он слишком абстрактный, есть определение (это определение недостаточно точное, и граница между неконтролируемым и контролируемым размыта), что означает, что если обучающая выборка помечена, это обучение с учителем, а непомеченное — это обучение без учителя.Наблюдение без ярлыков означает незнание результата. Алгоритм обучения с учителем может знать, что набор изображений — это изображения собаки, но алгоритм обучения без учителя может знать только, что они представляют собой класс, но не знает, как этот класс называется.

Алгоритмы обучения без учителя не имеют меток, поэтому обучение часто не имеет четких целей, и может быть трудно сказать, хорошие результаты или плохие.По сути, алгоритмы обучения без учителя - это метод статистики вероятностей.Обнаружение некоторых потенциальных структур. Это все еще недостаточно ясно, но вот несколько примеров того, как работают неконтролируемые методы обучения:

Классификация пользователей: Джек Ма сказал, что 500 000 человек просматривают Taobao каждую ночь и ничего не покупают. Он не знает, почему. Так как существует такой большой объем трафика, его нельзя тратить впустую, и точные рекомендации будут эффективными. В огромной группе пользователей, если вы найдете пользователя, который очень похож на вас, вы не можете сказать, где вы встречались. В любом случае, это похоже. Вы не покупали ничего из того, что он покупал раньше, и рекомендуете это вам. Будете ли вы импульсивный?

Обнаружение исключений: для веб-сайтов для предотвращения DDOS-атак необходимо находить эти незаконные запросы (в широком смысле, а не только недопустимые параметры) в огромных запросах и отбрасывать их без их обслуживания, что может потребовать неконтролируемых алгоритмов обучения. отличается от обычных пользователей, вы не можете сказать, что отличается. В любом случае, это другое. Если вы напрямую отклоните запрос и не будете его обслуживать, влияние атаки будет уменьшено.

выражать

Представление является одной из основных тем глубокого обучения.Классическая задача обучения без учителя состоит в том, чтобы найти наилучшее представление данных, удалить те нерелевантные факторы, которые не влияют на общую ситуацию или имеют минимальный фактор воздействия, и найти наиболее важные и критическое простое представление данных.Простые представления здесь включают низкоразмерные представления, разреженные представления и независимые представления.

  • Низкоразмерное представление: максимальное сжатие информации в x до меньшего представления обычно дает элементы с меньшими или более слабыми зависимостями, чем исходные многомерные данные;
  • Разреженное представление: встраивание набора данных в представление, где входные элементы в основном нулевые, обычно используется в случаях, когда необходимо увеличить размерность, чтобы в основном нулевое представление не теряло много информации;
  • Независимое представление: Попытки разделить источники вариаций в распределении данных, чтобы измерения представления были независимыми друг от друга.

Анализ главных компонентов

Анализ основных компонентов (PAC) — это классический алгоритм уменьшения размерности, тип обучения без учителя. Основными компонентами, как следует из названия, являются главные компоненты и соответствующие им неосновные компоненты. Например, некоторые векторы в матрице могут быть линейно представлены некоторыми другими векторами и связаны между собой линейно, тогда этот вектор будет немного избыточным, и он не повлияет на исходное пространство после удаления.Исходя из этой идеи, мы можем рассмотреть сжатие Уменьшите размер матрицы, максимально сохранив исходную информацию.

Для собственного разложения квадратных матриц это метод линейной алгебры:

X=QΛQ^{-1}

где X — матрица m*m, а ковариационная матрица, соответствующая X, равна:

Var(x)=\frac{1}{m-1}X^TX

PAC находит линейное представление с помощью линейного преобразования, где Var(x) — диагональная матрица: z=W^TX

Для произвольных матриц разложение по сингулярным числам (SVD) ближе всего к собственному разложению, а также здесь:

X=U∑W^T

Где X — матрица размера m*n; U — квадратная матрица размера m*m, а ортогональный вектор называется левым сингулярным вектором; ∑ — матрица размера m*n, за исключением диагональных элементов, все нули находятся на Элементы называются сингулярными значениями, W является матрицей n*n, а ортогональные векторы в ней называются правыми сингулярными векторами. Конкретные этапы метода:

  1. У: спросиXX^TСобственные значения и собственные векторы , а затем нормированные;
  2. П: спросиX^TXСобственные значения и собственные векторы , а затем нормированные;
  3. ∑: будетXX^TНайдите квадратный корень из собственных значений.

Взяв W за основу собственного вектора, можно получить исходное уравнение для собственного вектора,U^TU=I, W^TW=I:

X^TX=(U∑W^T)^TU∑W^T=W(∑)^{2}W^T

Дисперсия X:

Var(x)=\frac{1}{m-1}X^TX=\frac{1}{m-1}W(∑)^{2}W^T

Ковариация z удовлетворяет диагональному требованию:

Var(z)=\frac{1}{m-1}Z^TZ=\frac{1}{m-1}(∑)^2

Кластеризация K-средних (кластеризация K-средних)

Кластеризация отличается от классификации.Категории классификации известны, и необходимо тренироваться и учиться в соответствии с обучающим набором, находить различные функции, а затем подавать тестовый набор для вывода результатов; кластеризация означает, что он не известен в заранее, что данные будут разделены на несколько категорий, разделите данные на несколько групп с помощью кластерного анализа. конкретный метод:

  1. K специальных точек данных будут найдены случайным образом;
  2. Другие точки данных разделены на K категорий в зависимости от расстояния;
  3. Затем повторно выберите K специальных точек данных в каждой из K категорий;
  4. Если вновь выбранная точка данных находится далеко от ранее выбранной точки данных, повторите шаги после шага 2 в соответствии с новой точкой данных;
  5. Если расстояние между новой точкой данных и исходной точкой данных находится в пределах определенного порога, алгоритм завершается.

Преимущества кластеризации K-средних заключаются в том, что она быстрая и простая, а также очень эффективная для точек данных, принадлежащих группе.Его можно классифицировать в зависимости от того, является ли он грузовиком или автомобилем, или его можно классифицировать в соответствии с к красному или белому, или даже некоторые из них неверны.Следует отметить, что этот метод может не достичь цели в неподходящих местах.

Суммировать

В этой статье представлены два метода обучения без учителя: анализ основных компонентов и кластеризация K-средних.

  • Эта статья была впервые опубликована из публичного аккаунта:RAIS, нажмите, чтобы следовать напрямую. Из-за различий в парсинге Markdown на разных платформах некоторые формулы отображаются некорректно. Пожалуйста, свяжитесь со мнойСайт личного обслуживанияПроверять.
Категории