根据 1cycle 学习率策略设置每个参数组的学习率济源橡塑胶 。
1cycle 策略将学习率从初始学习率调整到个大学习率，然后从该大学习率调整到个远低于初始学习率的小学习率。该策略初在论文 Super-Convergence: Very Fast Training of Neural Networks Using Large Learning Rates 中进行了描述。
1cycle 学习率策略在每个 batch 之后改变学习率。在批次用于训练之后，应该调用 step。
此调度器不支持链式调用。
另外请注意，周期中的总步数可以通过以下两种式之确定（按优先顺序排列）：
显式提供了 total_steps 的值。
提供了 epoch 数（epochs）和每个 epoch 的步数（steps_per_epoch）。在这种情况下，总步数断为 total_steps = epochs * steps_per_epoch。
您须提供 total_steps 的值，或者提供 epochs 和 steps_per_epoch 的值。
此调度器的默认行为遵循 fastai 对 1cycle 的实现，该实现声称“未经发布的实验表明，仅使用两个阶段能获得好的结果”。要模仿原始论文的行为，请将 three_phase=True 设置为 True。
参数:optimizer (Optimizer) – 包装的优化器。
max_lr (float 或 list) – 每个参数组在周期内的上限学习率济源橡塑胶 。
total_steps (int) – 周期的总步数。注意，如果此处未提供值，则须通过提供 epochs 和 steps_per_epoch 的值来断。默认值：None
epochs (int) – 训练的 epoch 数。这与 steps_per_epoch 起用于断周期中的总步数，如果未提供 total_steps 的值。默认值：None
steps_per_epoch (int) – 每个 epoch 的训练步数。这与 epochs 起用于断周期中的总步数，如果未提供 total_steps 的值。默认值：None
pct_start (float) – 周期中用于增加学习率的百分比（按步数计）。默认值：0.3
anneal_strategy (str) – {‘cos’, ‘linear’} 指定衰减策略：“cos”表示余弦衰减，“linear”表示线衰减。默认值：‘cos’
cycle_momentum (bool) – 如果为 True，则动量在 ‘base_momentum’ 和 ‘max_momentum’ 之间与学习率成反比变化。默认值：True
base_momentum (float 或 list) – 每个参数组在周期内的动量下限。注意，动量与学习率成反比变化；在周期的峰值处，动量为 ‘base_momentum’，泡沫板橡塑板专用胶学习率为 ‘max_lr’。默认值：0.85
max_momentum (float 或 list) – 每个参数组在周期内的动量上限。上，它定义了周期的幅度（max_momentum - base_momentum）。注意，动量与学习率成反比变化；在周期的开始，动量为 ‘max_momentum’，学习率为 ‘base_lr’。默认值：0.95
div_factor (float) – 通过 initial_lr = max_lr/div_factor 确定初始学习率。默认值：25
final_div_factor (float) – 通过 min_lr = initial_lr/final_div_factor 确定小学习率济源橡塑胶 。默认值：1e4
three_phase (bool) – 如果为 True，则使用调度的三个阶段根据 ‘final_div_factor’ 来衰减学习率，而不是修改二个阶段（前两个阶段将围绕 ‘pct_start’ 指示的步数对称）。
last_epoch (int) – 上个 batch 的索引。此参数用于恢复训练任务。由于 step() 应该在每个 batch 之后而不是每个 epoch 之后调用，因此此数字表示已计的 *batch* 的总数，而不是已计的 epoch 的总数。当 last_epoch=-1 时，调度器将从头开始。默认值：-1
示例
get_last_lr()[source]#获取此调度器计的新学习率。
返回:个 list，其中包含优化器的每个 param_groups 的学习率条目，其类型与其 group["lr"] 相同。
返回类型:list[float | Tensor]
get_lr()[source]#计优化器 param_groups 中每个参数组的下个学习率。
查找当前步数对应的适当的 _schedule_phases 条目，并使用 _anneal_func() 在其 start_lr 和 end_lr 之间进行插值。
返回:个 list，其中包含优化器每个 param_groups 的学习率，其类型与其当前 group["lr"] 相同。
返回类型:list[float | Tensor]
奥力斯 保温护角专用胶批发 联系人：王经理 手机：13903175735（微信同号） 地址：河北省任丘市北辛庄乡南代河工业区
load_state_dict(state_dict)[source]#加载调度器的状态。
参数:state_dict (dict) – 调度器的状态。应该是从调用 state_dict() 返回的对象。
state_dict()[source]#返回调度器状态，作为个 dict。
它包含 self.__dict__ 中不是优化器的每个变量的条目。
返回类型:dict[str, Any]
step(epoch=None)[source]#调度器步进。
参数:epoch (int, optional) –
相关词条:玻璃棉毡 塑料挤出机 预应力钢绞线 铁皮保温 万能胶生产厂家
