training_manager
最后更新
luxonis_train.callbacks.training_manager应用节点冻结计划和训练策略钩子。类
TrainingManager
trainer.callbacks 中的一个条目会添加第二个实例,然后每个钩子都会运行两次。每个节点配置的 freezing 部分定义了冻结计划。具有 freezing.active 的节点在其解冻 epoch 之前保持冻结状态,并从该 epoch 开始训练。FreezeSchedule.apply 根据 epoch 编号和节点的原始值推导出 requires_grad 和批归一化状态。对同一 epoch 的重复调用会给出相同的状态。因此,回调在检查点中不保留任何状态:- 恢复的运行在其第一个 epoch 开始时获得计划状态。
- 冻结的参数保留在其参数组中,因此组永远不会改变。
- Lightning 检查点的优化器和调度器状态字典恢复组的学习率。
方法
on_after_backward
Python
1def on_after_backward(trainer: pl.Trainer, pl_module: lxt.LuxonisLightningModule):pl_module.training_strategy 时,钩子会调用其 BaseTrainingStrategy.update_parameters。例如,TripleLRSGDStrategy 在那里设置其参数组的热身学习率。如果没有策略,钩子不执行任何操作。参数trainer(pl.Trainer): 训练器。未使用。pl_module(lxt.LuxonisLightningModule): 包含训练策略的模块。
on_train_epoch_start
Python
1def on_train_epoch_start(trainer: pl.Trainer, pl_module: lxt.LuxonisLightningModule):trainer.current_epoch 和 LuxonisLightningModule.training_plan 调用 FreezeSchedule.apply。在其解冻 epoch 之前的节点保持冻结状态。达到其解冻 epoch 的节点会恢复其原始的 requires_grad 和 track_running_stats 值。当节点配置设置 freezing.lr_after_unfreeze 时,调用仅在精确的解冻 epoch 上使用该值。它将该值设置为节点每个参数组的基础学习率。每次节点冻结或解冻时,调用都会记录一条消息。参数trainer(pl.Trainer): 训练器。钩子读取其current_epoch。pl_module(lxt.LuxonisLightningModule): 包含冻结计划和训练计划的模块。
setup
Python
1def setup(trainer: pl.Trainer, pl_module: lxt.LuxonisLightningModule, stage: str):fit、validate、test 或 predict 调用开始时调用此钩子。钩子仅对 fit 起作用。它使用 epoch 0 且不带训练计划调用 FreezeSchedule.apply,因此它不改变学习率。对于每个解冻 epoch 大于 0 的节点,调用会关闭参数的 requires_grad。它还会关闭该节点的批归一化层的 track_running_stats。它会为每个冻结的节点记录一条消息。钩子始终使用 epoch 0。在恢复的运行中,trainer.current_epoch 在此处仍为 0,因为 Lightning 稍后会恢复循环状态。on_train_epoch_start 然后应用真实的 epoch。参数trainer(pl.Trainer): 训练器。未使用。pl_module(lxt.LuxonisLightningModule): 包含nodes.freeze_schedule中冻结计划的模块。stage(str): 开始的阶段:"fit"、"validate"、"test"或"predict"。