Практическое глубокое обучение 4.5 Регуляризация Код распада веса Ручная реализация

глубокое обучение PyTorch

Участвуйте в 16-м дне Ноябрьского испытания обновлений, узнайте подробности события:Вызов последнего обновления 2021 г.

import torch
from torch import nn
from d2l import torch as d2l

n_train, n_test, num_inputs, batch_size = 20, 100, 200, 5
true_w, true_b = torch.ones((num_inputs, 1)) * 0.01, 0.05
train_data = d2l.synthetic_data(true_w, true_b, n_train)
train_iter = d2l.load_array(train_data, batch_size)
test_data = d2l.synthetic_data(true_w, true_b, n_test)
test_iter = d2l.load_array(test_data, batch_size, is_train=False)

Первый заключается в создании искусственного набора данных:

y=0.05+∑i=1d0.01xi+ϵ where ϵ∼N(0,0.012)y = 0.05 + \sum_{i = 1}^d 0.01 x_i + \epsilon \text{ where } \epsilon \sim \mathcal{N}(0, 0.01^2)
  • Отображение обучающего набора, тестового набора, количества функций, размера партии
    • Учебный набор установлен на 20, но количество функций установлено на 200. Потому что чем меньше обучающих данных и чем сложнее модель, тем легче ее переобучить. Это эквивалентно 20 тренировочным данным, но вам нужно подобрать функцию порядка 200.
    • Тестовый набор выставлен на 100. На самом деле он здесь не влияет, его можно ставить как можно больше. Немного больше данных делает эффект переобучения более очевидным.
    • Размер партии — это размер мини-партии.
  • установить действительно w, b
  • Синтетическая функция ранее была вПрактическое глубокое обучение 3.2 — Реализация линейной регрессии вручную с нуляреализовано внутри. Используйте его для создания обучающих и тестовых наборов.
    """生成 y = Xw + b + 噪声。"""
def synthetic_data(w, b, num_examples):  
    # torch.normal(means, std, out=None) 生成均值为means，标准差为std的正态分布的随机数张量
    X = torch.normal(0, 1, (num_examples, len(w))) 
    y = torch.matmul(X, w) + b
    # 添加高斯噪声
    y += torch.normal(0, 0.01, y.shape) 
    # 将y从1000的tensor变为1000×1的tensor
    return X, y.reshape((-1, 1))
  • load_array находится вПрактическое глубокое обучение 3.3 — простая реализация линейной регрессииреализовано в. Используется для загрузки наборов данных.
    def load_array(data_arrays, batch_size, is_train=True):
"""构造一个PyTorch数据迭代器。""" 
    dataset = data.TensorDataset(*data_arrays) 
    return data.DataLoader(dataset, batch_size, shuffle=is_train)

def init_params():
    w = torch.normal(0, 1, size=(num_inputs, 1), requires_grad=True)
    b = torch.zeros(1, requires_grad=True)
    return [w, b]

Случайная инициализация.

def l2_penalty(w):
    return torch.sum(w.pow(2)) / 2

L2L_2норма штраф

def train(lambd):
    w, b = init_params()
    net, loss = lambda X: d2l.linreg(X, w, b), d2l.squared_loss
    num_epochs, lr = 100, 0.003
    
    # 用于可视化，可以忽略
    animator = d2l.Animator(xlabel='epochs', ylabel='loss', yscale='log',
                            xlim=[5, num_epochs], legend=['train', 'test'])
                            
    for epoch in range(num_epochs):
        for X, y in train_iter:
            with torch.enable_grad():
                # 增加了L2范数惩罚项，广播机制使l2_penalty(w)成为一个长度为`batch_size`的向量。
                l = loss(net(X), y) + lambd * l2_penalty(w)
            l.sum().backward()
            d2l.sgd([w, b], lr, batch_size)
            
        if (epoch + 1) % 5 == 0: # 用于可视化，可以忽略
            animator.add(epoch + 1, (d2l.evaluate_loss(net, train_iter, loss),
                                     d2l.evaluate_loss(net, test_iter, loss)))
                                     
    print('w的L2范数是：', torch.norm(w).item())

net, loss = lambda X: d2l.linreg(X, w, b), d2l.squared_lossПрямо здесьnetназначатьlambda X: d2l.linreg(X, w, b), заключается в использовании анонимной функции Python. то есть позвонитьnet(X)эквивалентно вызовуd2l.linreg(X, w, b).

Для анонимных встроенных функций лямбда см.:Анонимная встроенная функция Python lambda — самородки (juejin.cn).

train(lambd=0)

тренироваться!lambd = 0Запустите этот код с отключенным уменьшением веса. Обратите внимание, что ошибка обучения здесь уменьшается, а ошибка теста — нет. Это означает, что произошло сильное переобучение.

train(lambd=3)

Распад веса для запуска кода. Обратите внимание, что ошибка обучения здесь увеличивается, а ошибка теста уменьшается. Это именно то, что мы ожидаем от регуляризации.

Подробнее о серии «Практическое глубокое обучение» см. здесь:«Практическое глубокое обучение» — Колонка LolitaAnn — Nuggets (juejin.cn)

Заметки все еще обновляются......

Категории