Предлагаем вам прочитать статью 丨Алгоритм обнаружения аномалий и анализ тенденций развития

Аннотация: На основе исследования существующих алгоритмов обнаружения аномалий, основанных на глубоком обучении, в этой статье представлены существующие алгоритмы обнаружения глубоких аномалий и примерно предсказывается будущая тенденция развития алгоритмов обнаружения глубоких аномалий.

Эта статья опубликована в сообществе HUAWEI CLOUD.«[Чтение статьи] Алгоритм обнаружения аномалий и анализ тенденций развития», оригинальный автор: MUR11.

Обнаружение аномалий является важной проблемой во многих сценариях практического применения. На основе исследования существующих алгоритмов обнаружения аномалий, основанных на глубоком обучении, в этой статье представлены существующие алгоритмы обнаружения глубоких аномалий и сделан приблизительный прогноз будущих тенденций развития алгоритмов обнаружения глубоких аномалий.

1. Сценарии применения обнаружения аномалий

Обнаружение аномалий имеет большое количество применений в реальном производстве и жизни. Например: выявлять потенциальное мошенничество или записи обналичных средств из записей транзакций по кредитным картам, выявлять участников нелегального трафика в видео наблюдениях за дорожным движением, выявлять больные ткани в медицинских изображениях, выявлять злоумышленников в сети, выявлять аномальные передачи и т. д. по сигналам, передаваемым Интернет вещей.

Большинство текущих сценариев обнаружения аномалий сильно зависят от ручного труда, и существует большая потребность в рабочей силе. В будущем, с постарением населения и сокращением работающего населения, использование алгоритмов для замены ручного аномалий является общей тенденцией.

2. Общие типы исключений

Общие типы исключений можно разделить на три категории:

Точечная аномалия: один образец/точка образца значительно отклоняется от распределения всех других образцов/точек образца. Например: в записи транзакции по кредитной карте, если ежедневные транзакции пользователя являются небольшими транзакциями, внезапная крупная транзакция является точечным исключением.
Условная аномалия: случай, когда совместное распределение одной выборки/точки отбора проб и некоторых других условий значительно отклоняется от других выборок/точек отбора проб, называется условной аномалией. Например: диапазон температур места в году составляет от -10 градусов до 40 градусов, а дневная температура должна быть в пределах вышеуказанного диапазона при нормальных обстоятельствах. Однако если температура в какой-то день летом достигает -5 градусов, хотя температура в этот день еще находится в пределах нормы, то это явная аномалия в плане сезонов, и этот вид аномалии относится к аномальным условиям.
Аномалия популяции: один образец/точка отбора является нормальным, но большое количество образцов/точек отбора в целом является аномальным. Например: в качестве примера по-прежнему берутся записи транзакций по кредитным картам, если ежедневные транзакции пользователя представляют собой небольшие транзакции, 10 небольших транзакций внезапно появляются в один день, и сумма каждой транзакции одинакова, хотя каждая транзакция соответствует привычкам использования Пользователя. , но эти 10 транзакций являются аномальными, если рассматривать их вместе, и этот тип аномалии относится к групповой аномалии.

Среди вышеперечисленных трех типов исключений условные исключения эквивалентны точечным исключениям после определенного преобразования, поэтому фактически существует только два типа общих исключений: точечные исключения и групповые исключения. В настоящее время исследования и приложения в отрасли в основном сосредоточены на обнаружении точечных аномалий, а следующее также будет сосредоточено на алгоритме обнаружения точечных аномалий.

3. Алгоритм обнаружения аномалий

Текущие основные алгоритмы обнаружения аномалий обычно основаны на технологии глубокого обучения и могут быть разделены на методы с учителем, методы без учителя и методы с частичным наблюдением в соответствии с используемой информацией наблюдения. Кроме того, существуют также некоторые алгоритмы обнаружения аномалий, которые сочетают методы глубокого обучения с традиционными методами неглубокого обучения. Эти типы методов представлены отдельно ниже.

3.1 Глубокие контролируемые методы

Глубокое обучение с учителем в настоящее время является наиболее хорошо изученным и широко используемым методом глубокого обучения. При использовании этого метода для обнаружения аномалий он включает три этапа: сбор данных, обучение модели и вывод модели:

Сбор данных: собрать нормальные образцы и аномальные образцы и пометить образцы;
Обучение модели: используйте помеченные образцы для обучения модели.Принимая в качестве примера обнаружение аномалий на основе изображений, общие модели включают модели классификации изображений (чтобы определить, являются ли образцы аномальными), модели обнаружения целей (приблизительно определяют аномальное положение на изображении). ) и модели семантической сегментации (точно определить местонахождение аномальной области на рисунке);
Вывод модели: образцы для анализа подаются в модель, и после того, как модель работает, выводятся результаты.

Преимущества этого типа метода заключаются в простоте реализации и высокой точности, но недостатком является необходимость сбора и маркировки большого количества нормальных и аномальных образцов. На практике аномальных выборок часто бывает мало, и обычно трудно собрать достаточное количество аномальных выборок для обучения модели, поэтому нельзя применять методы глубокого контролируемого обнаружения аномалий.

3.2 Глубокие неконтролируемые методы

Чтобы лучше справляться с ситуацией, когда трудно собрать достаточное количество аномальных выборок в практических приложениях, методы обнаружения глубоких неконтролируемых аномалий косвенно реализуют функцию обнаружения аномалий путем моделирования нормальных выборок. В частности, этапы обнаружения глубоких неконтролируемых аномалий следующие:

Сбор данных: собрать большое количество нормальных образцов;
Обучение модели: моделируйте нормальные образцы с помощью обучающих моделей, обычно используемые модели включают автоэнкодеры, генеративные состязательные сети и т. д .;
Вывод модели: подайте образец для анализа в модель и получите результат модели;
Сравнение: сравнивая разницу между анализируемым образцом и выходными данными модели, определяется наличие аномалии на основе предварительно установленного порога.

Этот тип метода в настоящее время является основным методом обнаружения аномалий с использованием технологии глубокого обучения, и две репрезентативные модели — это автоэнкодеры и генеративные состязательные сети.

3.2.1 Автоэнкодеры

Еще возьмем в качестве примера задачу обнаружения аномалий изображения. При использовании модели автоэнкодера для обнаружения аномалий в изображении последовательность действий выглядит следующим образом:

Сбор данных: собрать большое количество обычных картинок;
Обучение модели: структура модели показана на следующем рисунке [1]. Во время обучения вход модели представляет собой обычное изображение; цель обучения состоит в том, чтобы сделать вывод модели таким же, как и вход, и обычно используемые показатели включают потери L2 на уровне пикселей, потери L1, потери SSIM и т. д. . Предположение этого типа метода таково: поскольку модель видела только нормальные изображения в процессе обучения, независимо от того, какое изображение вводится, модель будет стремиться реконструировать входное изображение в нормальное изображение, поэтому результат реконструкции ненормальное изображение будет таким же, как и входное изображение.Существуют очевидные различия между ними;
Вывод модели: анализируемое изображение используется в качестве входных данных модели, и после обработки модели выводится изображение, реконструированное моделью;
Сравнение: оценивая ошибку реконструкции на уровне пикселей между входным и выходным изображением (обычно рассчитываемую по потерям L2 или потерям SSIM), сравнивая значение ошибки реконструкции с предварительно установленным порогом, если ошибка реконструкции меньше порога, определяется отсутствие аномалии, в противном случае считается, что аномалия на изображении есть.

3.2.2 Генеративно-состязательные сети

При использовании генеративно-состязательной сетевой модели для обнаружения аномалий в изображении процесс выглядит следующим образом:

Сбор данных: собрать большое количество обычных картинок;
Обучение модели: структура модели показана на следующем рисунке [2]. Во время обучения входом модели является нормальное изображение, и цель обучения состоит в том, чтобы изображение, сгенерированное моделью, и реальное нормальное изображение имели одинаковое распределение. Процесс обучения реализуется двумя подмоделями, генератором и дискриминатором.Цель дискриминатора состоит в том, чтобы попытаться отличить, какие изображения генерируются моделью, а какие являются реальными, а цель генератора состоит в том, чтобы генерировать реалистичные изображения. насколько это возможно, чтобы дискриминация не была различима;
Вывод модели: с помощью определенных операций генератор генерирует изображение, максимально похожее на анализируемое изображение. Например: с помощью метода обратного распространения градиента итеративно обновлять входную переменную z генератора до тех пор, пока сходство между выходом z, сгенерированным генератором, и анализируемым изображением не достигнет максимума;
Сравнение: оценивая разницу на уровне пикселей между анализируемым изображением и сгенерированным изображением (обычно рассчитываемую по потерям L2 или потерям SSIM), сравнивая значение разницы с предварительно установленным порогом, если значение разницы меньше, чем Если установлен порог, считается, что аномалии нет, в противном случае считается, что аномалия в изображении есть.

3.2.3 Резюме

В приведенных выше двух подразделах кратко представлены этапы реализации двух типичных алгоритмов обнаружения глубоких неконтролируемых аномалий. Как видно из приведенных выше шагов, алгоритм обнаружения аномалий без учителя обычно оценивает наличие ошибки путем вычисления разницы между реконструированным или сгенерированным изображением и фактическим изображением. Хотя этот метод не требует аномальных отсчетов и больше подходит для практических сценариев, у него есть очевидные недостатки — способность противостоять шумовым помехам относительно плохая. Поскольку различия на уровне пикселей не обязательно вызваны реальными неисправностями, но также могут быть вызваны безобидными помехами, такими как пятна, и алгоритмы глубокого неконтролируемого обнаружения аномалий не могут различать эти различные различия, поэтому в практических приложениях глубокие неконтролируемые алгоритмы обнаружения аномалий обычно имеют больше возможностей. ложные срабатывания.

3.3 Методы глубокого полуконтроля

На практике иногда может быть собрано небольшое количество аномальных выборок.Чтобы в полной мере использовать эти аномальные выборки для повышения точности алгоритмов обнаружения аномалий, академическое сообщество предложило класс алгоритмов глубокого полуконтролируемого обнаружения аномалий. , Основные шаги этого типа алгоритма следующие:

Сбор данных: собрать большое количество изображений, включая как нормальные, так и ненормальные изображения;
Обучение модели: структура модели показана на следующем рисунке [3]. Во время обучения модель не знает, какие изображения являются нормальными, а какие — аномальными, поэтому она не идентифицируется методом с учителем, но потеря традиционной неглубокой одноклассовой SVM переносится на модель глубокого обучения;
Вывод модели: анализируемое изображение подается в модель. После серии операций модель получает значение в качестве выходных данных. Путем сравнения выходного значения с заданным пороговым значением, если выходное значение больше порогового значения, оно оценивается как ненормальный, в противном случае он оценивается как нормальный.

Преимущества этого типа метода заключаются в том, что сбор данных прост, и он может выполнять сквозное обучение представлению и изучение классификатора, но часто в процессе обучения необходимо проверить большое количество параметров, а обучение занимает много времени. много времени.

3.4 Глубинно-неглубинный гибридный метод

В дополнение к вышеупомянутым алгоритмам обнаружения аномалий, полностью основанным на глубоком обучении, в последние годы также существуют некоторые методы, сочетающие глубокое обучение с традиционными методами неглубокого обнаружения аномалий, как показано на рисунке ниже. В этом типе метода модель глубокого обучения используется только в качестве экстрактора признаков, а основная функция выявления аномалий реализуется традиционными алгоритмами обнаружения аномалий.

Преимущество этого типа метода заключается в том, что он может гибко сочетать различные модели глубокого обучения и неглубокие алгоритмы обнаружения аномалий.Функции, извлеченные с помощью модели глубокого обучения, не обязательно могут характеризовать аномалии, а также они не могут соответствовать последующие алгоритмы обнаружения аномалий.

4. Тенденция развития

В сочетании с предыдущим содержанием этот раздел обобщает несколько ценных сценариев исследований в области обнаружения аномалий и делает общие прогнозы относительно будущих тенденций исследований:

Методы с глубоким наблюдением: хотя точность современных алгоритмов обнаружения аномалий с глубоким наблюдением очень высока, трудно найти практические сценарии, в которых такие методы сильно зависят от большого количества помеченных нормальных и аномальных образцов. Если вы хотите расширить сферу применения, то, как получить модель с высокой производительностью обобщения при условии небольших выборок в будущем, является ключевым моментом и трудностью, которую необходимо преодолеть этому методу.
Глубокий неконтролируемый метод: Текущий алгоритм глубокого неконтролируемого обнаружения аномалий имеет низкие требования к данным и большую область применения, однако из-за плохой помехоустойчивости таких методов количество ложных срабатываний на практике часто велико, что влияет на фактическое использование пользовательский опыт. Таким образом, дальнейшее моделирование шумовых помех или подавление шумовых помех находится в центре внимания будущих исследований таких методов.
Обнаружение групповых аномалий: Обнаружение групповых аномалий — это направление исследований, которое только появилось в последние годы.Оно все еще находится в зачаточном состоянии.Все еще существуют большие неопределенности в отношении будущих направлений и методов исследований, но ожидается, что это направление станет одним из самых популярных исследований. направления в будущем.

использованная литература

[1] PaulBergmann, Sindy Loewe, Michael Fauser, David Sattlegger, Carsten Steger.Improving Unsupervised Defect Segmentation by Applying Structural Similarity ToAutoencoders. arXiv 2019.

[2] Томас Шлегль, Филипп Зеебёк, Себастьян М. Вальдштейн, Урсула Шмидт-Эрфурт, Георг Лангс, Неконтролируемое обнаружение аномалий с помощью генеративных состязательных сетей для обнаружения маркеров, arXiv 2017.

[3] RaghavendraChalapathy. Anomaly Detection Using One-Class Neural Networks. arXiv 2019.

Нажмите «Подписаться», чтобы впервые узнать о новых технологиях HUAWEI CLOUD~