Практическое глубокое обучение 3.2 — Реализация линейной регрессии вручную с нуля

глубокое обучение PyTorch

Это первый день моего участия в ноябрьском испытании обновлений, подробности о мероприятии:Вызов последнего обновления 2021 г.

import random
import torch
from d2l import torch as d2l

Пакет d2l — это пакет, который команда г-на Ли Му собрала для этой книги, и вам нужно загрузить его самостоятельно.

# 生成 y = Xw + b + 噪声
def synthetic_data(w, b, num_examples):
    X = torch.normal(0, 1, (num_examples, len(w)))  # torch.normal(means, std, out=None) 
    # num_examples 样本数量
    # len(w) 每组数据特征值的数量要和权重一样多
    y = torch.mv(X, w) + b
    # 加入高斯噪声
    y += torch.normal(0, 0.01, y.shape)
    return X, y.reshape((-1, 1))
    
true_w = torch.tensor([2, -3.4])
true_b = 4.2

features, labels = synthetic_data(true_w, true_b, 1000)

  • Этот шаг заключается в создании набора данных вручную, поскольку существующего набора данных нет, поэтому мы создаем его самостоятельно.y=Xw+by = Xw+b.

  • torch.normal(means, std, out=None) Генерирует тензор случайных чисел, нормально распределенных со средним значением и стандартным стандартным отклонением.

  • yравно X*w+b, результатом является одномерный тензор, используйтеy.reshape((-1, 1))Превратите его в двумерный тензор. Это изменение размера (m) на размер (m, 1), где m — количество выборок.

  • Вручную установите реальные W и b и сгенерируйте функции и метки, которые являются нашими концептуальными x и y.

# 设定mini-batch读取批量的大小
batch_size=10

def data_iter(batch_size, features, labels):
    # 获取y的长度
    num_examples = len(features)
    # 生成对每个样本的index
    indices = list(range(num_examples))
    # 这些样本是随机读取的，没有特定的顺序
    random.shuffle(indices)
    
    for i in range(0, num_examples, batch_size):
        batch_indices = torch.tensor(indices[i: min(i + batch_size, num_examples)])
        yield features[batch_indices], labels[batch_indices]


# 随机初始化w，b
w = torch.normal(0, 0.01, size=(2,1), requires_grad=True)
b = torch.zeros(1, requires_grad=True)

# 线性回归模型。
def linear_regression(X, w, b):
    return torch.matmul(X, w) + b

# 损失函数 均方误差
def squared_loss(y_hat,y):
    return (y_hat-y.reshape(y_hat.shape))**2/2

# 定义优化算法
    """小批量随机梯度下降。"""
def sgd(params, lr, batch_size):
    with torch.no_grad():
        for param in params:
            param -= lr * param.grad / batch_size
            param.grad.zero_()
  • Этот шаг обычно используется при определении градиентного спуска. Не должно быть объяснений.
lr = 0.003
num_epochs = 3
loss = squared_loss

  • установить скорость обучения

  • Установить размер шага градиентного спуска

  • дать имя потере

# epochs即梯度下降要执行多少步
for epoch in range(num_epochs):
    # 每次从generator中取一个mini-batch
    for X, y in data_iter(batch_size, features, labels):
        # 用线性回归计算y的预测值
        y_pred = linear_regression(X, w, b)
        # 计算损失,loss()出来是一个batch大小的向量，需要求和，因为loss是一个数，不理解的看平方损失的公式
        l = loss(y_pred, y).sum()
        # 反向传播
        l.backward()
        # 使用参数的梯度更新参数
        sgd([w, b], lr, batch_size)
        
    with torch.no_grad():
        train_l = loss(linear_regression(features, w, b), labels)
        print(f'epoch {epoch + 1}, loss {float(train_l.mean()):f}')

# print(f'w的估计误差: {true_w - w.reshape(true_w.shape)}')
# print(f'b的估计误差: {true_b - b}')

  • последнийwith torch.no_grad()Внутри нужно использовать w и b после каждого шага, чтобы вернуть общий образец, чтобы увидеть, каков эффект.

  • with torch.no_grad()(Анализ процесса автоградации PyTorch и некоторые мелочи, с которыми столкнулись)

  • Последние два предложения, которые я закомментировал, предназначены для того, чтобы увидеть, насколько окончательный результат градиентного спуска отличается от w и b, которые вы установили вручную.

Категории