loss.backward(),scheduler(), optimizer.step()的作用

本文链接：https://blog.csdn.net/weixin_44076140/article/details/117407156

在用pytorch训练模型时（pytorch1.1及以上版本），通常会在遍历epochs的过程中依次用到optimizer.zero_grad(),loss.backward()和optimizer.step()，scheduler()四个函数，如下所示：

model = MyModel()
criterion = nn.CrossEntropyLoss()
optimizer = torch.optim.SGD(model.parameters(), lr=0.001, momentum=0.9, weight_decay=1e-4)
scheduler = torch.optim.lr_scheduler.StepLR(optimizer, step_size = 100, gamma = 0.1)
for epoch in range(1, epochs):
    for i, (inputs, labels) in enumerate(train_loader):
        output= model(inputs)
        loss = criterion(output, labels)
        # compute gradient and do SGD step
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()
     scheduler.step()

总得来说，这四个函数的作用是先将梯度归零（optimizer.zero_grad()），然后反向传播计算得到每个参数的梯度值（loss.backward()），最后通过梯度下降执行一步参数更新（optimizer.step()）

我们知道optimizer更新参数空间需要基于反向梯度，因此，当调用optimizer.step()的时候应当是loss.backward()的时候），这也就是经常会碰到,如下情况

        loss.backward()