此页面由 AI 自动翻译。查看英文原版
最后更新

本页目录

  • 类
  • TripleLRSGDStrategy
Claude CodeCodexCursor
Luxonis 智能体工具包为你常用的编程智能体加载 Luxonis 上下文与技能,更快地基于 OAK 开发应用。
安装工具包

triple_lr_sgd

最后更新
Python API: luxonis_train.strategies.triple_lr_sgd一种 SGD 策略,具有学习率预热和衰减功能。该策略将参数分为 BatchNorm2d 权重、其他权重和偏差。

类

TripleLRSGDStrategy

对三个参数组进行 SGD,具有预热和衰减功能。该策略的规则将参数分为三组:
  • triple_lr/batch_norm_weights:每个 BatchNorm2d 的 weight,不带权重衰减。
  • triple_lr/weights:所有其他名为 weight 的参数,带 weight_decay。
  • triple_lr/biases:所有名为 bias 的参数,不带权重衰减。
每个组都使用带有 lr、momentum 和 nesterov 的 SGD。具有其他名称的参数将进入默认规则,该规则使用 get_base_configs 的配置。LambdaLR 调度器将每个组的学习率设置为 lr⋅f(e),其中 e 是从 0 开始计数的 epoch。设 r = lre ⁄ lr,E 为 trainer.epochs。使用 cosine_annealing 时,因子为:f(e) = 1 + (r − 1)⋅(1 − cos(π**e ⁄ E))/(2)不使用 cosine_annealing 时,因子线性下降:f(e) = r + (1 − r)⋅max(1 − e ⁄ E, 0)这两个因子都从第一个 epoch 的 1 变为 epoch E 的 r。在预热期间,update_parameters 在每个步骤中设置三个规则组的学习率。学习率从起始值线性变化到 lr⋅f(e)。偏差组从 warmup_bias_lr 开始,其他组从 0 开始。

方法

init
Python
1def __init__(pl_module: lxt.LuxonisLightningModule, lr: float = 0.02, momentum: float = 0.937, weight_decay: float = 0.0005, nesterov: bool = True, warmup_epochs: int = 3, warmup_bias_lr: float = 0.1, warmup_momentum: float = 0.8, lre: float = 0.0002, cosine_annealing: bool = True):
存储设置并计算预热的长度。一个 epoch 中的批次数量是 ceil(len(pl_module.core.loaders["train"]) / trainer.batch_size)。预热持续 warmup_epochs 乘以该步数,四舍五入,并且至少 100 步。参数
  • pl_module (lxt.LuxonisLightningModule):要训练的模块。策略读取其 cfg、core.loaders 和 current_epoch。
  • lr (float):每个组的基础学习率。
  • momentum (float):每个组的 SGD 动量。
  • weight_decay (float):triple_lr/weights 组的权重衰减。
  • nesterov (bool):SGD 是否使用 Nesterov 动量。
  • warmup_epochs (int):预热的长度,以 epoch 为单位。
  • warmup_bias_lr (float):预热开始时偏差组的学习率。
  • warmup_momentum (float):策略存储该值,但不使用它。
  • lre (float):训练结束时的学习率。
  • cosine_annealing (bool):学习率因子是否遵循余弦曲线。如果为 False,则线性下降。
get_base_configs
Python
1def get_base_configs(self) -> tuple[OptimizerConfig, SchedulerConfig]:
返回 SGD 配置和 LambdaLR 配置。返回
  • tuple[OptimizerConfig, SchedulerConfig]:带有 lr、momentum 和 nesterov 的 SGD 配置,不带权重衰减。LambdaLR 配置,其 lr_lambda 是类描述的学习率因子 f。
rules
Python
1def rules(self) -> list[StrategyRule]:
返回策略的三个 SGD 规则。BatchNorm2d 规则在权重规则之前,因此 BatchNorm2d 权重进入批归一化组。没有规则设置调度器,因此每个组都使用 get_base_configs 的 LambdaLR。返回
  • list[StrategyRule]:带有标签 BATCH_NORM_TAG、WEIGHT_TAG 和 BIAS_TAG 的规则,按此顺序。只有 WEIGHT_TAG 规则设置 weight_decay。
update_parameters
Python
1def update_parameters(self):
设置组的预热学习率。TrainingManager 在每次反向传播后调用该方法。一次调用算作一步,即使有梯度累积也是如此。epoch 中的步数是调用次数除以 epoch 中的批次数量的余数。全局步数加上 current_epoch 乘以该数字。当全局步数最多为预热长度时,该方法设置三个标签的每个组的 lr。在第 0 步,该值是组的起始值。在最后一个预热步,它是 lr⋅f(e),其中 e 等于 current_epoch。在两个步之间,该值线性变化。预热结束后,该方法不改变任何组。

属性

BATCH_NORM_TAG
BIAS_TAG
WEIGHT_TAG