Джулия: Пользовательское обратное распространение на Zygote

Zygote — это пакет в Julia, который реализует автоматическую дифференциацию и автоматическую деривацию.@adjointМакросы являются важной частью интерфейса Zygote. использовать@adjointОбратное распространение функций можно настроить.

Pullbacks

понять@adjointВо-первых, разберитесь с функциями нижнего уровняpullback.gradientфактическиpullbackсинтаксический сахар для .

julia> y, back = Zygote.pullback(sin, 0.5)
(0.479425538604203, Zygote.var"#41#42"{Zygote.ZBack{ChainRules.var"#sin_pullback#1430"{Float64}}}(Zygote.ZBack{ChainRules.var"#sin_pullback#1430"{Float64}}(ChainRules.var"#sin_pullback#1430"{Float64}(0.8775825618903728))))

julia> y
0.479425538604203

даватьpullbackВведите два параметраsinи0.5Представьте функцию, которую нужно вывести, и значение, которое нужно вывести, соответственно, и будут получены два выхода: результат данной функцииsin(0.5)иpullback, который является кодом вышеbackПеременная.backпарная функцияsinДля вычисления градиента ~~ принимает вывод и создает новую переменную. ~~ С математической точки зрения это реализация векторно-якобианского произведения. в$y=f(x)$и градиент$\frac{\partial{l}}{\partial{x}}$написано как$\bar{x}$, откат$\mathcal{B}_y$Рассчитайте следующим образом:

В частности, на примере приведенного выше кода функция$y=\sin(x)$. $\frac{\partial y}{\partial x}=\cos (x)$, так что откат есть$\bar{y}\cos(x)$,в$\bar{y}=\frac{\partial l}{\partial y}$. другими словами,pullback(sin, x)иdsin(x) = (sin(x), ȳ -> (ȳ * cos(x),))эквивалентность.

gradientсредняя функция$l=f(x)$и предположим$\bar{l}=\frac{\partial l}{\partial l}=1$, и подайте его в откат. существуетsinВ примере

julia> dsin(x) = (sin, ȳ -> (ȳ * cos(x),))
dsin (generic function with 1 method)

julia> function gradsin(x)
           _, back = dsin(x)
           back(1)
       end
gradsin (generic function with 1 method)

julia> gradsin(0.5)
(0.8775825618903728,)

julia> cos(0.5)
0.8775825618903728
                
julia> back(1)
(0.8775825618903728,)

Личное понимание, зачем добавлять элемент перед ним$\frac{\partial l}{\partial y}$, который должен реализовать цепное правило. Например, предположим, что окончательный убыток равен$l$, функция$y(x)$, чтобы получить функцию потерь$l$парный параметр$x$Дифференциация$\frac{\partial l}{\partial x}$, согласно цепному правилу, функция потерь есть функция$y$Производная от умноженной на функцию по параметру$x$дифференциал$\frac{\partial l}{\partial y} \frac{\partial y}{\partial x}$. функция$y$изpullbackпарная функция функции потерь$y$Дифференциация (с$\bar{y}$означает), умноженное на пару функций$x$дифференциал.

Для приведенного выше примераpullbackПервый результат, возвращаемый функцией: Предположим, что функция$y=\sin(x)$функция потерь$l$час,$x=0.5$результат, когда$\cos(0.5)$, и возвращаетсяbackоколо$\frac{\partial l}{\partial y}$функцию, ее можно рассматривать как$\mathcal{B}(\frac{\partial l}{\partial y})=\frac{\partial l}{\partial y}\cos(0.5)$.

если$l=0.5y=0.5\sin(x)$, мы можем получить$\frac{\partial l}{\partial y}=0.5$,Так$\frac{\partial l}{\partial x}=\mathcal{B}(\frac{\partial l}{\partial y})=\mathcal{B}(0.5)$.

---

Ссылаться на:

[1] Пользовательские сопряжения • Зигота