[Глубокое мышление] · Докажите, что softmax не зависит от смещения входных данных

 

Докажите, что на softmax не влияет постоянное смещение ввода, то есть softmax(x)=softmax(x+c)

То есть после добавления смещения c это не влияет на эффект всего слоя softmax. следующее:

 

Какая от этого польза?

 

Может эффективно предотвратить переполнение данных

 

Как применить?

 

Это верно для любого а, что означает, что мы можем свободно корректировать экспоненциальную часть экспоненциальной функции Типичный подход состоит в том, чтобы взятьМаксимальное значение в: a=max{x1,x2.....xn}

Это гарантирует, что показатель степени никогда не превысит максимум 0, поэтому вы не получите переполнения. Даже если оставшаяся часть переполняется, разумное значение может быть получено после добавления a.