python 实现cosine annealing strategy

最新推荐文章于 2025-06-17 12:45:00 发布

星月夜语

最新推荐文章于 2025-06-17 12:45:00 发布

阅读量888

点赞数

CC 4.0 BY-SA版权

分类专栏：深度学习基础知识 python 算法类文章标签：余弦退火学习率 python

本文链接：https://blog.csdn.net/ljh618625/article/details/107779786

深度学习基础知识同时被 3 个专栏收录

40 篇文章 ¥49.90 ¥99.00

订阅专栏

超级会员免费看

算法类

24 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

python

34 篇文章

订阅专栏

本文介绍了如何使用Python实现余弦退火(Cosine Annealing)学习率策略，该策略在训练深度学习模型时能有效调整学习率，以达到更好的优化效果。文中给出了具体的结果，并提供了基于PyTorch的实现示例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import math
import matplotlib.pyplot as plt
import torch.optim as optim
from torchvision.models import resnet18

lr_rate = 0.0001
model = resnet18(num_classes=10)

# T_max = 1000

epoch_total = 25
epoch_iter = 609
warm_up = 800

lambda1 = lambda epoch: (epoch / warm_up) if epoch < warm_up else 0.5 * (math.cos((epoch - warm_up)/(epoch_total*epoch_iter - warm_up) * math.pi) + 1)
optimizer = optim.SGD(model.parameters(), lr=lr_rate, momentum=0.9, nesterov=True)
scheduler = optim.lr_scheduler.LambdaLR(optimizer, lr_lambda=lambda1)

index = 0
x = []
y = []
for epoch in range(epoch_total):
    for batch in range(609):
        x.appe

了解本专栏