freezing
最后更新
luxonis_train.lightning.freezing节点冻结计划,源自配置。配置单独定义了计划。具有 freezing.active 的节点在其解冻 epoch 之前保持冻结状态,并从该 epoch 开始训练。resolve_unfreeze_epoch 计算解冻 epoch。FreezeSchedule.apply 从 epoch 编号派生节点的状态,因此对同一 epoch 的重复调用会给出相同的状态。TrainingManager 在 fit 开始时和每个训练 epoch 开始时调用它。因此,恢复的运行会获得正确的状态,并且检查点不需要回调的任何状态:- 冻结的参数保留在其参数组中,因为训练计划将每个参数放入一个固定的组中。因此,优化器状态作为普通的
state_dict加载。 - 每个 epoch 开始时,再次根据计划设置
requires_grad和批归一化状态。 - 优化器和调度器状态字典保存学习率。Lightning 保存并恢复它们。
lr_after_unfreeze。在该 epoch 之后 恢复的运行不会再次设置它。检查点已经保存了调度器达到的学习率。第二次更新速率会破坏计算每个速率的调度器,例如 StepLR。类
FreezeSchedule
freezing.active 的节点的冻结计划。Nodes 在构建节点后构建计划,并将其存储在 freeze_schedule 中。TrainingManager 应用它。方法
init
Python
1def __init__(plans: list[NodeFreezePlan]):plans(list[NodeFreezePlan]): 每个具有冻结计划的节点一个计划。计划保留列表本身,而不是副本。
apply
Python
1def apply(epoch: int, runtime: TrainingPlanRuntime | None = None):epoch 中冻结的节点,该方法将每个参数的 requires_grad 和每个批归一化层的 track_running_stats 设置为 False。对于任何其他节点,它恢复计划的原始值。当参数从可训练变为冻结时,该方法会为节点记录一条信息消息,当参数恢复时,会记录另一条信息消息。对同一 epoch 的重复调用会给出相同的状态。使用 runtime,该方法还将 lr_after_unfreeze 设置为节点每个组的基本学习率,但仅当 epoch 是节点的解冻 epoch 时。模块文档字符串说明了为什么后续 epoch 不设置速率。这些组来自 attach_group_handles。示例
该示例关闭了日志记录器,因此不显示信息消息:
Pycon
1>>> from loguru import logger
2>>> from torch import nn
3>>> logger.disable("luxonis_train")
4>>> module = nn.Sequential(nn.Linear(2, 2), nn.BatchNorm1d(2))
5>>> plan = NodeFreezePlan.from_module(
6... "head", module, unfreeze_epoch=2, lr_after_unfreeze=None
7... )
8>>> schedule = FreezeSchedule([plan])
9>>> schedule.apply(epoch=0)
10>>> module[0].weight.requires_grad, module[1].track_running_stats
11(False, False)
12>>> schedule.apply(epoch=2)
13>>> module[0].weight.requires_grad, module[1].track_running_stats
14(True, True)
15>>> logger.enable("luxonis_train")epoch(int): epoch 编号,从0开始。runtime(TrainingPlanRuntime | None): 运行的优化器和调度器。None不改变学习率。
attach_group_handles
Python
1def attach_group_handles(runtime: TrainingPlanRuntime):lr_after_unfreeze 不会改变另一个节点的学习率。参数runtime(TrainingPlanRuntime): 运行的优化器和调度器。
RuntimeError: 当计划节点的组也包含另一个节点的参数时。
from_nodes
Python
1def from_nodes(nodes: Nodes) -> Self:unfreeze_after 不为 None 的节点创建 NodeFreezePlan.from_module 的计划。在任何冻结之前构建计划,以便计划记录原始状态。参数nodes(Nodes): 模型的节点。该方法读取每个 NodeWrapper 的name、module、unfreeze_after和lr_after_unfreeze。
Self: 计划,按nodes的顺序排列。
is_frozen
Python
1def is_frozen(node_name: str, epoch: int) -> bool:node_name(str): 图中节点的名称。epoch(int): epoch 编号,从0开始。
bool: 当节点有计划且epoch在其解冻 epoch 之前时为True。对于没有计划的节点为False。
属性
plans
NodeFreezePlan
方法
from_module
Python
1def from_module(node_name: str, module: nn.Module, unfreeze_epoch: int, lr_after_unfreeze: float | None) -> Self:requires_grad 值和每个批归一化层的 track_running_stats 值。解冻会恢复这些值。它不会使每个参数都可训练。因此,节点本身冻结的参数,或使用 track_running_stats=False 构建的层,会保留其设置。在任何冻结之前调用此方法。示例
Pycon
1>>> from torch import nn
2>>> module = nn.Linear(2, 2)
3>>> _ = module.bias.requires_grad_(False)
4>>> plan = NodeFreezePlan.from_module(
5... "head", module, unfreeze_epoch=3, lr_after_unfreeze=None
6... )
7>>> plan.original_requires_grad
8[True, False]
9>>> plan.is_frozen(2), plan.unfreezes_at(3)
10(True, True)node_name(str): 图中节点的名称。module(nn.Module): 节点。unfreeze_epoch(int): 节点训练的第一个 epoch。lr_after_unfreeze(float | None): 从解冻 epoch 开始的节点的基本学习率。None保留调度器达到的速率。
Self: 计划,不带组句柄。
is_frozen
Python
1def is_frozen(epoch: int) -> bool:epoch(int): epoch 编号,从0开始。
bool: 当epoch在unfreeze_epoch之前时为True。
unfreezes_at
Python
1def unfreezes_at(epoch: int) -> bool:epoch(int): epoch 编号,从0开始。
bool: 当epoch是unfreeze_epoch时为True。
属性
batch_norms
group_handles
lr_after_unfreeze
None 保留调度器达到的速率。node_name
original_requires_grad
requires_grad 值,按 parameters 的顺序。original_track_running_stats
track_running_stats 值,按 batch_norms 的顺序。parameters
unfreeze_epoch
函数
resolve_unfreeze_epoch
Python
1def resolve_unfreeze_epoch(freezing: FreezingConfig, total_epochs: int) -> int | None:freezing.unfreeze_after 解析为 epoch 编号。整数是 epoch 编号本身。浮点数是 total_epochs 的一部分,截断为整数。None 给出 total_epochs,因此节点在整个运行期间保持冻结。示例
Pycon
1>>> from luxonis_train.config.config import FreezingConfig
2>>> resolve_unfreeze_epoch(
3... FreezingConfig(active=True, unfreeze_after=0.25), 10
4... )
52
6>>> resolve_unfreeze_epoch(FreezingConfig(active=True), 10)
710
8>>> print(resolve_unfreeze_epoch(FreezingConfig(), 10))
9Nonefreezing(FreezingConfig): 节点配置的freezing部分。total_epochs(int): 运行的 epoch 数量,来自trainer.epochs。
int | None: 节点训练的第一个 epoch。当freezing.active为False时为None。