01-Краткий принцип формулы GAN - Маленькие сокровища в железной броне

глубокое обучение

Отказ от ответственности: следующий контент предназначен исключительно для того, чтобы добавить интерес к процессу формирования заметок, и ничего больше. Если имеется соответствующий конфликт интересов/нарушение прав, удалите его. Неуместные исправления приветствуются.

Предыстория: "Tiejia Xiaobao" - это японский мультфильм, который я не могу вспомнить, когда я смотрел его, когда был очень маленьким. Я забыл сюжет, но я до сих пор помню сцену, которую я тайно смотрел по черно-белому телевизору в моем доме. дом бабушки. Я использую его здесь, чтобы воздать должное воспоминаниям, вызванным этой анимацией. Может быть, читатели этого не видели, так что это взято из энциклопедии Baidu: главный герой «Tiejia Xiaobao», робот «Kabuda» и его партнер Xiao Rang каждый день усердно работают, чтобы найти «Звезду мира», потому что до тех пор, пока 13 штук «Мир «Звезда» собирают «Звезда» может реализовать мечты и желания всех людей, но несколько роботов, не прошедших обучение во сне, такие как хулиган-таракан, акула-перец, паук-детектив, скорпион Лайлай и т. д., часто уничтожаются от него. . Праведный Кабуда и его напарники вместе сражались в битве ума и отваги, упорным трудом он и Звезда Хранителя Мира превратили врагов в друзей, поддержали друг друга и спасли все человечество!


Другими словами, для того, чтобы воплотить в жизнь мечты и чаяния всего человечества, Кабуда, Сяо Ран и другие наконец собрали 13 звезд мира. Однако могут появиться новые проблемы! Я слышал рост искусственного интеллекта, интересно, не поставит ли он под угрозу мир во всем мире! В этот день Кабуда решил изучить известную ГАН в волне ИИ, которая представляет собой сеть генеративного противостояния!

1 Назначение ГАН

Исследование Сяо Ранга действительно плохое, похоже, он не очень помогает с исследовательскими материалами, однако он все еще очень хорошо знает, что ГАН, по сути, такая же, как «форма трансформации» Кабуды! Он преобразится и будет готов!

Первоначальная мотивация GAN состоит в том, чтобы преобразовать гауссов распределенный вектор шума (представленный z) в новую информационную форму x, то есть создать новое распределение данных.

Представление, может быть изображением, текстом, речью и т.д., и среди них

— это параметры нейронной сети GAN, они используются для управления тем, как выглядит сгенерированная информация. Однако у GAN должна быть новая форма ссылки, и вы должны заранее знать, как выглядит сгенерированная форма.Например, если вы хотите сгенерировать кучу поддельных фотографий перца акулы, вам нужно предоставить настоящий и настоящий GAN в реальности.Просто покажите ему кучу фото акульего перца.Реальные фотоданные распространяются с помощью

Выражать.

2 Как измерить, похожа ли сгенерированная фотография чили акулы на чили акулы?

Кроме того, Кабуда обнаружил, что некоторые математические формулы могут измерять сходство двух распределений данных, таких как расхождение KL.Рассчитывая расхождение KL между ними, чем меньше значение, тем больше оно похоже.

Во-первых, мы никогда не должны быть нетерпеливыми, во-вторых, мы не должны пропускать ни одного плохого решения, в-третьих, мы должны быть честными и красивыми, и робот-арбитр Капитан Стрекоза приедет к вам!

3 Строительство ГАН

Выяснилось, что Кабуда обнаружил, что для достижения своей цели GAN не одинок, он формируется двумя нейронными сетями. Один из них — генератор G, а другой — дискриминатор D, где G — «морфологический преобразователь», отвечающий за преобразование гауссовского шума в фальшивое «изображение акульего перца», имеющее функцию генерации; D используется для различения реальных и поддельные «изображения акулы-перца». изображение», а затем рассказал G, где поколение было недостаточно хорошим. G выслушал отзыв D и отчаянно пытался его улучшить. Возникло ощущение двухсторонней конфронтации. Кабуда узнал от капитана Стрекозы, что отношения между G и D связаны формулой:

Затем с помощью оптимизации:

Сяо Ран только что закончил четвертый класс, он был в замешательстве, что это за формула? Эта формула действительно позволяет G генерировать реалистичное изображение «Акулий перец»? ? Кабуда не совсем понял эту формулу, поэтому они также решили позволить Кабуде начать форму супертрансформации, улучшить IQ и полностью понять принцип формулы ГАН!

4 Активируйте фигуру супертрансформации

Кабуда узнал, что генерация G и различение D осуществляются попеременно. Например, на определенном этапе, после того как G в течение некоторого времени усердно работал над созданием некоторых «изображений акульего перца», он перестает улучшаться, и наступает очередь D оценивать разрыв между реальными и поддельными изображениями. Согласно формуле, D, конечно, пытается судить как можно лучше и хочет, чтобы V(G, D) достигло максимального значения при фиксированном G:

Среди них в пункте слева от знака +

Указывает, что элемент x является реальным «Изображением перца акулы», D(X) представляет вероятность того, что D считает это реальное изображение реальным, конечно же, D надеется, что приведенная вероятность выше и точнее; в элементе к справа от знака +

Указывает, что элемент x является фальшивым изображением, сгенерированным G, а D(X) в (1-D(X)) представляет вероятность того, что D сочтет это фальшивое изображение реальным. Конечно, D надеется, что эта вероятность будет низкой. И наоборот, чем больше (1-D(X)), тем лучше.

Следовательно, в приведенной выше формуле

Чем больше тем лучше. в,

- это существующее/реальное изображение «Акулы чили», которое можно рассматривать как фиксированную константу. А текущая стадия G исправлена/больше не улучшается, так что

Это также фиксированная константа, представленная a и b соответственно. В это время D начинает самосовершенствоваться и улучшает свое различение, тщательно наблюдая за истинными и ложными изображениями. D является переменной, которая максимизирует себя. Производная:

Затем подставьте его обратно в формулу:

«Замкни Баттерфляй Сни!» Сяо Ран вдруг понял: «Оказывается, максимизация V(G, D) может фактически вывести форму измерения KL-дивергенции, и это [max V(G, D)] есть разница между реальной изображение и фальшивое изображение. Расстояние между ними, чтобы они выглядели одинаково, просто сделайте это расстояние наименьшим, которое равно min[maxV(G, D)]!" Кабуда, наконец, успокоился: "Старое железо, вы действительно дважды щелкаете 666».