triple_lr_sgd
最后更新
luxonis_train.strategies.triple_lr_sgd一种 SGD 策略,具有学习率预热和衰减功能。该策略将参数分为 BatchNorm2d 权重、其他权重和偏差。类
TripleLRSGDStrategy
triple_lr/batch_norm_weights:每个BatchNorm2d的weight,不带权重衰减。triple_lr/weights:所有其他名为weight的参数,带weight_decay。triple_lr/biases:所有名为bias的参数,不带权重衰减。
lr、momentum 和 nesterov 的 SGD。具有其他名称的参数将进入默认规则,该规则使用 get_base_configs 的配置。LambdaLR 调度器将每个组的学习率设置为 lr⋅f(e),其中 e 是从 0 开始计数的 epoch。设 r = lre ⁄ lr,E 为 trainer.epochs。使用 cosine_annealing 时,因子为:f(e) = 1 + (r − 1)⋅(1 − cos(π**e ⁄ E))/(2)不使用 cosine_annealing 时,因子线性下降:f(e) = r + (1 − r)⋅max(1 − e ⁄ E, 0)这两个因子都从第一个 epoch 的 1 变为 epoch E 的 r。在预热期间,update_parameters 在每个步骤中设置三个规则组的学习率。学习率从起始值线性变化到 lr⋅f(e)。偏差组从 warmup_bias_lr 开始,其他组从 0 开始。示例
配置的
trainer 部分:Yaml
1trainer:
2 training_strategy:
3 name: TripleLRSGDStrategy
4 params:
5 lr: 0.02
6 lre: 0.0002
7 warmup_epochs: 3
8 cosine_annealing: true方法
init
Python
1def __init__(pl_module: lxt.LuxonisLightningModule, lr: float = 0.02, momentum: float = 0.937, weight_decay: float = 0.0005, nesterov: bool = True, warmup_epochs: int = 3, warmup_bias_lr: float = 0.1, warmup_momentum: float = 0.8, lre: float = 0.0002, cosine_annealing: bool = True):ceil(len(pl_module.core.loaders["train"]) / trainer.batch_size)。预热持续 warmup_epochs 乘以该步数,四舍五入,并且至少 100 步。参数pl_module(lxt.LuxonisLightningModule):要训练的模块。策略读取其cfg、core.loaders和current_epoch。lr(float):每个组的基础学习率。momentum(float):每个组的 SGD 动量。weight_decay(float):triple_lr/weights组的权重衰减。nesterov(bool):SGD 是否使用 Nesterov 动量。warmup_epochs(int):预热的长度,以 epoch 为单位。warmup_bias_lr(float):预热开始时偏差组的学习率。warmup_momentum(float):策略存储该值,但不使用它。lre(float):训练结束时的学习率。cosine_annealing(bool):学习率因子是否遵循余弦曲线。如果为False,则线性下降。
get_base_configs
Python
1def get_base_configs(self) -> tuple[OptimizerConfig, SchedulerConfig]:LambdaLR 配置。返回tuple[OptimizerConfig, SchedulerConfig]:带有lr、momentum和nesterov的 SGD 配置,不带权重衰减。LambdaLR配置,其lr_lambda是类描述的学习率因子 f。
rules
Python
1def rules(self) -> list[StrategyRule]:BatchNorm2d 规则在权重规则之前,因此 BatchNorm2d 权重进入批归一化组。没有规则设置调度器,因此每个组都使用 get_base_configs 的 LambdaLR。返回list[StrategyRule]:带有标签BATCH_NORM_TAG、WEIGHT_TAG和BIAS_TAG的规则,按此顺序。只有WEIGHT_TAG规则设置weight_decay。
update_parameters
Python
1def update_parameters(self):current_epoch 乘以该数字。当全局步数最多为预热长度时,该方法设置三个标签的每个组的 lr。在第 0 步,该值是组的起始值。在最后一个预热步,它是 lr⋅f(e),其中 e 等于 current_epoch。在两个步之间,该值线性变化。预热结束后,该方法不改变任何组。