Обнаружение аномалий, как работает GAN?

глубокое обучение

Добро пожаловать, чтобы щелкнуть синее слово выше и следовать ему ~

Связанное чтение:

[1] Как насчет генерации GAN на медицинских изображениях?

Виртуальная переодевание! Взгляните на то, что делают эти последние газеты!\

Миграция макияжа лица! Краткий обзор нескольких статей с использованием GAN\

GAN существует уже 6 лет! Пришло время для инсульта!\

01-Краткий принцип формулы GAN - Маленькие сокровища в железной броне

Запишите сегодня, некоторые используютGANсделатьаномальное обнаружениеТезис! \


Обнаружение аномалий, очень распространенная проблема.

Что касается изображений, например, когда вы входите и выходите из зоны досмотра в метро каждый день, вы часто видите младших сестер и братьев, сидящих там и смотрящих на ваш багаж через изображение досмотра, подобное следующему (изображение взято из газеты GANomaly). ):

В качестве другого примера, при анализе некоторых медицинских изображений легче получить изображения здоровых людей, а «шаблон» изображений часто является фиксированным или неизменяемым, в то время как количество изображений поражений невелико и их трудно получить, или Площадь поражения изменчива или даже неизвестна.В настоящее время обнаружение аномалии сталкивается с ситуацией, когда положительных образцов / аномальных изображений мало, и относительно легче получить нормальные изображения. Эта ситуация на самом деле отражена во многих сценариях, таких как промышленный визуальный контроль и так далее.

Для большого количества известных категорий, независимо от того, являются ли они аномальными или нет, мы можем решить эту проблему, обучив классификационную модель. Но перед лицом, возможно, неизвестных и изменчивых ситуаций кажется трудным различить их с помощью мультиклассовой модели. Если вы просто хотите определить, является ли это ненормальным, возможно, вы можете сделать один классификатор.

Мы делаем все возможное, чтобы модель полностью узнала, как выглядит распределение нормальных данных.После появления аномального изображения, даже если она не знает, что такое новое распределение, она все равно может с уверенностью сказать вам: я никогда не видел эту штуку. до этого гетерогенный!

Как сделать какую-то сеть с GAN? Общая идея такова:

В случае только отрицательных проб (нормальные данные) или небольшого количества положительных проб:

Фаза обучения:

Через сеть можно узнать только распределение данных отрицательных выборок (нормальные данные), а результирующая модель G может генерировать или реконструировать только нормальные данные.

Этап тестирования:

Используйте тестовую выборку для ввода обученной модели G. Если выходные данные G такие же или близкие к входным данным после реконструкции, это означает, что тест представляет собой нормальные данные, в противном случае это аномальные данные.

Выбор модели G:

Генеративная модель с лучшей способностью к реконструкции или обучению распределению данных, такая как GAN или VAE, или даже кодер-декодер.

Давайте кратко рассмотрим несколько статей, чтобы увидеть, как GAN обнаруживают аномалии (данные в основном представлены в виде изображений):


1. IPMI 2017 AnoGAN ( Unsupervised Anomaly Detection with Generative Adversarial Networks to Guide Marker Discovery )

Идея: Изучите распределение нормальных данных через генератор GAN G. Во время теста изображение находит нормальное изображение, каким оно должно выглядеть через изученное G, а затем сравнивает его, чтобы выяснить, является ли оно ненормальным или нет.

Как показано на рисунке выше, DCGAN, более простая архитектура GAN, используется в документе AnoGAN.

Фаза обучения:

Состязательное обучение, генератор G, построенный из вектора шума Z через несколько слоев деконволюции, учится генерировать изображения нормальных данных.

Этап тестирования:

Произведите случайную выборку вектора гауссовского шума z и хотите сгенерировать нормальное изображение G (z), соответствующее тестовому изображению x, посредством обученного G. Параметры G фиксированы, и он может генерировать только изображения, попадающие в нормальное распределение данных. Однако в настоящее время все еще требуется обучение, рассматривайте z как параметр, который необходимо обновить, и обновляйте его, сравнивая разницу между G (z) и x, чтобы создать нормальное изображение, максимально похожее на x и идеально ему соответствует.

Если x — нормальное изображение, то x и G(z) должны совпадать.

Если x является аномальным, путем обновления z можно считать, что реконструирована идеальная нормальная ситуация аномальной области, так что два изображения можно сравнить не только для выявления аномальной ситуации, но и для поиска аномальной области.

Обновите z, чтобы сравнить G(z) с разницей x:

Один из них заключается в вычислении потерь L1 на уровне изображения G(z) и x:

Во-вторых, использовать обученный дискриминатор D и взять потери G (z) и x на уровне признаков среднего слоя дискриминатора D:

Сочетание двух:

Кроме того, метод расчета аномальной оценки:

2. 2018-02 EFFICIENT GAN-BASED ANOMALY DETECTION

Стремясь устранить дефект, заключающийся в том, что параметры все еще необходимо обновлять на этапе тестирования AnoGAN, этот метод предлагает метод, основанный на BiGAN, который может быть в 100 раз быстрее.

Во время обучения одновременно обучается кодер E, который отображает входные выборки x в латентные представления z, а также генератор G и дискриминатор D:

Это позволяет избежать трудоемкого этапа тестирования, необходимого для «нахождения z». В отличие от D в обычных GAN, которые рассматривают только входное (фактическое или сгенерированное) изображение, но также и скрытое представление z (в качестве входных данных).

Во время теста метод расчета оценки для оценки того, является ли изображение ненормальным или нет, может быть в основном таким же, как и у AnoGAN.

3. 2018-12 Adversarially Learned Anomaly Detection

Усовершенствованная версия второго метода также основана на BiGAN и проделала некоторую работу по стабильному обучению. Как показано ниже, (Послушай, я сделал три дискриминатора =_=

Метод расчета обнаружения:

4. 2018-11-13 GANomaly: Semi-Supervised Anomaly Detection via Adversarial Training

принцип:

Во время обучения представление z1 в скрытом пространстве, полученное путем нормального кодирования данных с ограничениями, и z2, полученное путем декодирования и повторного кодирования z1, разница не будет особенно большой, и идеал должен быть одинаковым.

Следовательно, после обучения G, обученный с нормальными образцами, может только восстановить нормальное распределение данных.После того, как он используется для кодирования, декодирования и кодирования аномальных образцов, которые никогда раньше не наблюдались, полученный потенциальный разрыв пространства Z становится большим.

Когда разница между скрытым пространством, полученным двумя кодировками, превышает определенный порог, определяется, что образец является аномальным образцом.

5. 2019-01-25 Skip-GANomaly: Skip Connected and Adversarially Trained Encoder-Decoder Anomaly Detection

6. PRICAI 2018 A Surface Defect Detection Method Based on Positive Samples

принцип:

C(x~|x) — модуль изготовления искусственных дефектов. X~ представляет собой выборку смоделированных дефектов, а нормальная выборка Y восстанавливается после кодека EN-DE.

На этапе тестирования после того, как X вводится в EN-DE, получается идеальный нормальный образец y, и LBP используется для сравнения попиксельных характеристик Y и X, и разница велика, есть дефект .

7. MIDL 2018  Unsupervised Detection of Lesions in Brain MRI using constrained adversarial auto-encoders

AAE используется для обучения моделированию нормального распределения данных. Иногда расстояние между двумя данными в нормальном распределении больше, чем расстояние между нормальным и аномальным, поэтому предлагается добавить ограничение на скрытое пространство.

Пишите пока сюда.

Наконец, добро пожаловать, чтобы обратить внимание на общедоступный номер ~

Наконец, в конце, я отправлю еще одну волну, пока часть, базовую корреляцию использования GAN для обнаружения аномалий (непосредственно используя «обнаружение состязательных аномалий», чтобы спуститься на arxiv, не обязательно связанные! 2333) документы для справки! ! !


 

001 (2019-12-10) Event Detection in Micro-PMU Data  A Generative Adversarial Network ScoringMethod

    А. Р. Вест В. Мытый Search.top/PDF/1912.05…

 

002 (2019-12-10) Outage Detection in Partially Observable DistributionSystems using Smart Meters and Generative Adversarial Networks

    А. Р. Вест В. Мытый Search.top/PDF/1912.04…

 

003 (2019-12-9) Oversampling Log Messages Using a Sequence GenerativeAdversarial Network for Anomaly Detection and Classification

    А. Р. Вест В. Мытый Search.top/PDF/1912.04…

 

004 (2019-12-2) Anomaly Detection in Particulate Matter Sensor usingHypothesis Pruning Generative Adversarial Network

    А. Р. Вест В. Мытый Search.top/PDF/1912.00…

 

005 (2019-11-27) Sparse-GAN Sparsity-constrained Generative Adversarial Network for AnomalyDetection in Retinal OCT Image

    А. Р. Уэст В. Мытый Search.top/PDF/1911.12…

 

006 (2019-11-21) EvAn  NeuromorphicEvent-based Anomaly Detection

    А. Р. Вест В. Мытый Search.top/PDF/1911.09…

 

007 (2019-11-19) Attention Guided Anomaly Detection and Localization in Images

    А. Р. Уэст В. Мытый Search.top/PDF/1911.08…

 

008 (2019-11-17) Deep Verifier Networks Verification of Deep Discriminative Models with Deep Generative Models

    А. Р. Уэст В. Мытый Search.top/PDF/1911.07…

 

009 (2019-11-16) RSM-GAN  A ConvolutionalRecurrent GAN for Anomaly Detection in Contaminated Seasonal Multivariate TimeSeries

    А. Р. Уэст В. Мытый Search.top/PDF/1911.07…

 

010 (2019-10-30) Robust and Computationally-Efficient Anomaly Detectionusing Powers-of-Two Networks

    А. Р. Уэст В. Мытый Search.top/PDF/1910.14…

 

011 (2019-10-29) Small-GAN  SpeedingUp GAN Training Using Core-sets

    А. Р. Уэст В. Мытый Search.top/PDF/1910.13…

 

012 (2019-10-23) Photoshopping Colonoscopy Video Frames

    А. Р. Уэст В. Мытый Search.top/PDF/1910.10…

 

013 (2019-10-21) GraphSAC  Detectinganomalies in large-scale graphs

    А. Р. Уэст В. Мытый Search.top/PDF/1910.09…

 

014 (2019-10-21) Adversarial Anomaly Detection for Marked Spatio-TemporalStreaming Data

    А. Р. Уэст В. Мытый Search.top/PDF/1910.09…

 

015 (2019-10-10) Misbehaviour Prediction for Autonomous Driving Systems

    А. Р. Уэст В. Мытый Search.top/PDF/1910.04…

 

016 (2019-10-9) Adversarial Learning of Deepfakes in Accounting

    А. Р. Уэст В. Мытый Search.top/PDF/1910.03…

 

017 (2019-09-12) Perceptual Image Anomaly Detection

    А. Р. Уэст В. Мытый Search.top/PDF/1909.05…

 

018 (2019-08-27) Self-Supervised Representation Learning viaNeighborhood-Relational Encoding

    А. Р. Уэст В. Мытый Search.top/PDF/1908.10…

 

019 (2019-08-10) Transcriptional Response of SK-N-AS Cells to Methamidophos

    А. Р. Уэст В. Мытый Search.top/PDF/1908.03…

 

020 (2019-09-3) Februus  InputPurification Defence Against Trojan Attacks on Deep Neural Network Systems

    А. Р. Уэст В. Мытый Search.top/PDF/1908.03…

 

021 (2019-08-8) What goes around comes around  Cycle-Consistency-based Short-Term MotionPrediction for Anomaly Detection using Generative Adversarial Networks

    А. Р. Уэст В. Мытый Search.top/PDF/1908.03…

 

022 (2019-08-2) Detection of Accounting Anomalies in the Latent Space usingAdversarial Autoencoder Neural Networks

    А. Р. Уэст В. Мытый Search.top/PDF/1908.00…

 

023 (2019-09-3) Q-MIND  DefeatingStealthy DoS Attacks in SDN with a Machine-learning based Defense Framework

    А. Р. Уэст В. Мытый Search.top/PDF/1907.11…

 

024 (2019-10-8) Real-time Evasion Attacks with Physical Constraints on DeepLearning-based Anomaly Detectors in Industrial Control Systems

    А. Р. Уэст В. Мытый Search.top/PDF/1907.07…

 

025 (2019-07-12) AMAD  AdversarialMultiscale Anomaly Detection on High-Dimensional and Time-Evolving CategoricalData

    А. Р. Уэст В. Мытый Search.top/PDF/1907.06…

 

026 (2019-06-27) A Survey on GANs for Anomaly Detection

    А. Р. Вест В. Мытый Search.top/PDF/1906.11…

 

027 (2019-06-15) Physical Integrity Attack Detection of Surveillance Camerawith Deep Learning Based Video Frame Interpolation

    А. Р. Уэст В. Мытый Search.top/PDF/1906.06…

 

028 (2019-07-8) GAN-based Multiple Adjacent Brain MRI Slice Reconstructionfor Unsupervised Alzheimer's Disease Diagnosis

    А. Р. Уэст В. Мытый Search.top/PDF/1906.06…

 

029 (2019-06-3) Generative Adversarial Networks for Distributed IntrusionDetection in the Internet of Things

    А. Р. Уэст В. Мытый Search.top/PDF/1906.00…

 

030 (2019-11-20) Unsupervised Learning of Anomaly Detection fromContaminated Image Data using Simultaneous Encoder Training

    А. Р. Уэст В. Мытый Search.top/PDF/1905.11…

 

031 (2019-10-18) Adversarially-trained autoencoders for robust unsupervisednew physics searches

    А. Р. Уэст В. Мытый Search.top/PDF/1905.10…

 

032 (2019-05-19) Spatio-Temporal Adversarial Learning for Detecting UnseenFalls

    А. Р. Уэст В. Мытый Search.top/PDF/1905.07…

 

033 (2019-05-20) Finding Rats in Cats Detecting Stealthy Attacks using Group Anomaly Detection

    А. Р. Уэст В. Мытый Search.top/PDF/1905.07…

 

034 (2019-04-25) End-to-End Adversarial Learning for Intrusion Detection inComputer Networks

    А. Р. Уэст В. Мытый Search.top/PDF/1904.11…

 

035 (2019-04-24) GAN Augmented Text Anomaly Detection with Sequences of DeepStatistics

    А. Р. Уэст В. Мытый Search.top/PDF/1904.11…

 

036 (2019-04-23) A Comparison Study of Credit Card Fraud Detection  Supervised versus Unsupervised

    А. Р. Уэст В. Мытый Search.top/PDF/1904.10…

 

037 (2019-09-24) Trick or Heat Manipulating Critical Temperature-Based Control Systems UsingRectification Attacks

    А. Р. Уэст В. Мытый Search.top/PDF/1904.07…

 

038 (2019-12-2) Adversarial Learning in Statistical Classification  A Comprehensive Review of Defenses AgainstAttacks

    А. Р. Уэст В. Мытый Search.top/PDF/1904.06…

 

039 (2019-04-11) (Martingale) Optimal Transport And Anomaly Detection WithNeural Networks  A Primal-dual Algorithm

    А. Р. Уэст В. Мытый Search.top/PDF/1904.04…

 

040 (2019-07-24) Efficient GAN-based method for cyber-intrusion detection

    А. Р. Уэст В. Мытый Search.top/PDF/1904.02…

 

041 (2019-04-2) Fence GAN  TowardsBetter Anomaly Detection

    А. Р. Уэст В. Мытый Search.top/PDF/1904.01…

 

042 (2019-03-27) Fundamental Limits of Covert Packet Insertion

    А. Р. Уэст В. Мытый Search.top/PDF/1903.11…

 

043 (2019-05-20) Deep Generative Design Integration of Topology Optimization and Generative Models

    А. Р. Уэст В. Мытый Search.top/PDF/1903.01…

 

044 (2019-11-14) adVAE  Aself-adversarial variational autoencoder with Gaussian anomaly prior knowledgefor anomaly detection

    А. Р. Уэст В. Мытый Search.top/PDF/1903.00…

 

045 (2019-07-14) Secure Distributed Dynamic State Estimation in Wide-AreaSmart Grids

    А. Р. Уэст В. Мытый Search.top/PDF/1902.07…

 

046 (2019-02-19) Anomaly Detection with Adversarial Dual Autoencoders

    А. Р. Уэст В. Мытый Search.top/PDF/1902.06…

 

047 (2019-05-9) The Odds are Odd  AStatistical Test for Detecting Adversarial Examples

    А. Р. Уэст В. Мытый Search.top/PDF/1902.04…

 

048 (2019-11-6) BIVA  A Very DeepHierarchy of Latent Variables for Generative Modeling

    А. Р. Уэст В. Мытый Search.top/PDF/1902.02…

 

049 (2019-01-28) Heartbeat Anomaly Detection using Adversarial Oversampling

    А. Р. Уэст В. Мытый Search.top/PDF/1901.09…

 

050 (2019-01-25) Skip-GANomaly  SkipConnected and Adversarially Trained Encoder-Decoder Anomaly Detection

    А. Р. Уэст В. Мытый Search.top/PDF/1901.08…

 

051 (2019-05-27) Maximum Entropy Generators for Energy-Based Models

    А. Р. Уэст В. Мытый Search.top/PDF/1901.08…

 

052 (2019-01-10) Adversarial Pseudo Healthy Synthesis Needs PathologyFactorization

    А. Р. Уэст В. Мытый Search.top/PDF/1901.07…

 

053 (2019-01-18) Robust Anomaly Detection in Images using AdversarialAutoencoders

    А. Р. Уэст В. Мытый Search.top/PDF/1901.06…

 

054 (2019-01-15) MAD-GAN  MultivariateAnomaly Detection for Time Series Data with Generative Adversarial Networks

    А. Р. Уэст В. Мытый Search.top/PDF/1901.04…

 

055 (2019-12-4) Event Generation and Statistical Sampling for Physics withDeep Generative Models and a Density Information Buffer

    А. Р. Уэст В. Мытый Search.top/PDF/1901.00…

 

056 (2018-12-11) Anomaly Generation using Generative Adversarial Networks inHost Based Intrusion Detection

    А. Р. Вест В. Мытый Search.top/PDF/1812.04…

 

057 (2018-12-11) Anomaly detection with Wasserstein GAN

    А. Р. Вест В. Мытый Search.top/PDF/1812.02…

 

058 (2018-12-5) Adversarially Learned Anomaly Detection

    А. Р. Вест В. Мытый Search.top/PDF/1812.02…

 

059 (2018-11-11) Adversarial Learning-Based On-Line Anomaly Monitoring forAssured Autonomy

    А. Р. Вест В. Мытый Search.top/PDF/1811.04…

 

060 (2018-10-19) Subset Scanning Over Neural Network Activations

    А. Р. Вест В. Мытый Search.top/PDF/1810.08…

 

061 (2018-10-11) MDGAN  BoostingAnomaly Detection Using \\Multi-Discriminator Generative Adversarial Networks

    А. Р. Вест В. Мытый Search.top/PDF/1810.05…

 

062 (2019-04-30) Prospect Theoretic Approach for Data Integrity in IoTNetworks under Manipulation Attacks

    А. Р. Вест В. Мытый Search.top/PDF/1809.07…

 

063 (2019-01-15) Anomaly Detection with Generative Adversarial Networks forMultivariate Time Series

    А. Р. Вест В. Мытый Search.top/PDF/1809.04…

 

064 (2018-09-28) Layerwise Perturbation-Based Adversarial Training for HardDrive Health Degree Prediction

    А. Р. Вест В. Мытый Search.top/PDF/1809.04…

 

065 (2018-09-7) Coupled IGMM-GANs for deep multimodal anomaly detection inhuman mobility data

    А. Р. Вест В. Мытый Search.top/PDF/1809.02…

 

066 (2019-08-2) Detection and Mitigation of Attacks on TransportationNetworks as a Multi-Stage Security Game

    А. Р. Вест В. Мытый Search.top/PDF/1808.08…

 

067 (2018-08-23) DOPING  GenerativeData Augmentation for Unsupervised Anomaly Detection with GAN

    А. Р. Вест В. Мытый Search.top/PDF/1808.07…

 

068 (2018-08-1) Anomaly Detection via Minimum Likelihood GenerativeAdversarial Networks

    А. Р. Вест В. Мытый Search.top/PDF/1808.00…

 

069 (2018-07-22) SAIFE  UnsupervisedWireless Spectrum Anomaly Detection with Interpretable Features

    А. Р. Вест В. Мытый Search.top/PDF/1807.08…

 

070 (2018-06-27) Adversarial Distillation of Bayesian Neural NetworkPosteriors

    А. Р. Вест В. Мытый Search.top/PDF/1806.10…

 

071 (2019-03-25) Learning Neural Random Fields with Inclusive AuxiliaryGenerators

    А. Р. Вест В. Мытый Search.top/PDF/1806.00…

 

072 (2018-07-17) AVID  AdversarialVisual Irregularity Detection

    А. Р. Вест В. Мытый Search.top/PDF/1805.09…

 

073 (2018-11-13) GANomaly Semi-Supervised Anomaly Detection via Adversarial Training

    А. Р. Вест В. Мытый Search.top/PDF/1805.06…

 

074 (2018-05-5) Population Anomaly Detection through Deep Gaussianization

    А. Р. Вест В. Мытый Search.top/PDF/1805.02…

 

075 (2018-04-13) Group Anomaly Detection using Deep Generative Models

    А. Р. Вест В. Мытый Search.top/PDF/1804.04…

 

076 (2018-04-13) Adversarial Clustering A Grid Based Clustering Algorithm Against Active Adversaries

    А. Р. Вест В. Мытый Search.top/PDF/1804.04…

 

077 (2018-04-12) Deep Autoencoding Models for Unsupervised AnomalySegmentation in Brain MR Images

    А. Р. Вест В. Мытый Search.top/PDF/1804.04…

 

078 (2018-04-3) Correlated discrete data generation using adversarialtraining

    А. Р. Вест В. Мытый Search.top/PDF/1804.00…

 

079 (2018-03-17) A Multi-perspective Approach To Anomaly Detection ForSelf-aware Embodied Agents

    А. Р. Вест В. Мытый Search.top/PDF/1803.06…

 

080 (2018-04-9) CIoTA  CollaborativeIoT Anomaly Detection via Blockchain

    А. Р. Вест В. Мытый Search.top/PDF/1803.03…

 

081 (2018-05-24) Adversarially Learned One-Class Classifier for NoveltyDetection

    А. Р. Вест В. Мытый Search.top/PDF/1802.09…

 

082 (2019-05-1) Efficient GAN-Based Anomaly Detection

    А. Р. Вест В. Мытый Search.top/PDF/1802.06…

 

083 (2018-02-13) Satellite Image Forgery Detection and Localization UsingGAN and One-Class Classifier

    А. Р. Вест В. Мытый Search.top/PDF/1802.04…

 

084 (2018-02-8) Detection of Adversarial Training Examples in PoisoningAttacks through Anomaly Detection

    А. Р. Вест В. Мытый Search.top/PDF/1802.03…

 

085 (2018-01-5) Shielding Google's language toxicity model againstadversarial attacks

    А. Р. Вест В. Мытый Search.top/PDF/1801.01…

 

086 (2018-06-27) When Not to Classify Anomaly Detection of Attacks (ADA) on DNN Classifiers at Test Time

    AR West V. Мытый Search.top/PDF/1712.06…

 

087 (2018-04-24) Bayesian Hypernetworks

    А. Р. Вест В. Мытый Search.top/PDF/1710.04…

 

088 (2017-09-15) To Go or Not To Go  ANear Unsupervised Learning Approach For Robot Navigation

    А. Р. Вест В. Мытый Search.top/PDF/1709.05…

 

089 (2017-04-5) Counter-RAPTOR Safeguarding Tor Against Active Routing Attacks

    А. Р. Вест В. Мытый Search.top/PDF/1704.00…

 

090 (2017-03-17) Unsupervised Anomaly Detection with Generative AdversarialNetworks to Guide Marker Discovery

    А. Р. Вест В. Мытый Search.top/PDF/1703.05…