Практическое глубокое обучение 4.2 Ручная реализация многоуровневого персептрона

глубокое обучение PyTorch

Участвуйте в 12-м дне вызова ноябрьского обновления, проверьте детали события:Вызов последнего обновления 2021 г.

Реализуемая многослойная структура персептрона представляет собой двухуровневую структуру, подобную этой:

import torch
from torch import nn
from d2l import torch as d2l

batch_size = 256
train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size)

Здесь не должно быть объяснений. видел меняЗаметки "Практическое глубокое обучение"Все предыдущие статьи должны знать, что размер пакета мини-пакета установлен на 256, а затем загружаются обучающий и тестовый наборы набора данных fashion-mnist.

Здесь будет пользовательское предупреждение, также написанное в ручной реализации softmax. Я не буду повторять это.

num_inputs, num_outputs, num_hiddens = 784, 10, 256

W1 = nn.Parameter(torch.randn(
    num_inputs, num_hiddens, requires_grad=True) * 0.01)
b1 = nn.Parameter(torch.zeros(num_hiddens, requires_grad=True))
W2 = nn.Parameter(torch.randn(
    num_hiddens, num_outputs, requires_grad=True) * 0.01)
b2 = nn.Parameter(torch.zeros(num_outputs, requires_grad=True))

params = [W1, b1, W2, b2]
  • Сначала установите размер входного слоя, скрытого слоя и выходного слоя соответственно.
    • Раньше каждое изображение набора данных было 28 * 28, поэтому размер входного вектора был 28 * 28 = 784.
    • Здесь мы устанавливаемОднослойный многослойный персептрон с 256 скрытыми единицами.
    • Размер вектора выходного слоя равен 10, поскольку изображения разделены на десять классов.
  • Затем инициализируйте веса и смещения каждого слоя.nn.ParameterВы можете добавить его или нет, я не добавлял его раньше.
def relu(X):
    a = torch.zeros_like(X)
    return torch.max(X, a)

Здесь используется функция активации ReLU, а не сигмоид.Общие функции активации — самородки (juejin.cn)

def net(X):
    X = X.reshape((-1, num_inputs))
    H = relu(X@W1 + b1)  # 这里“@”代表矩阵乘法
    return (H@W2 + b2)

Настройте сеть.

loss = nn.CrossEntropyLoss()

Перекрёстная потеря энтропии здесь используется напрямую, поэтому я не буду повторять постройку колеса, мне интересно на это посмотреть.Практическое глубокое обучение 3.6 — ручная реализация регрессии softmax — самородки (juejin.cn), в котором написано, как добиться перекрестной потери энтропии.

num_epochs, lr = 10, 0.1
updater = torch.optim.SGD(params, lr=lr)
d2l.train_ch3(net, train_iter, test_iter, loss, num_epochs, updater)
d2l.predict_ch3(net, test_iter)
  • Установите количество итераций и скорость обучения для обучения
  • Оптимизация настроек
  • d2l.train_ch3тренироваться
  • d2l.predict_ch3Оценить изученную модель, мыПримените эту модель к некоторым тестовым данным..
Категории