composite_optimizer
最后更新
luxonis_train.optimizers.composite_optimizer一个驱动多个内部优化器的优化器。Lightning 看到一个优化器,因此梯度累积和梯度裁剪仍然适用于微调规则和训练策略产生的任意数量的内部优化器。类
CompositeOptimizer
torch.optim.Optimizer,驱动多个内部优化器。param_groups 连接内部优化器的 param_groups,并持有相同的字典对象。因此,Lightning 可以在其自动优化中驱动多个优化器配置:- 一次
step调用, - 一次对所有组的梯度裁剪,
- 一个梯度缩放器槽。
requires_grad 改变,内部优化器会跳过梯度为 None 的参数。构造函数不调用 Optimizer.__init__,因为该方法构建自己的参数组。类本身实现了 Lightning 使用的方法:Optimizable 协议、step、zero_grad、state_dict 和 load_state_dict。示例
Pycon
1>>> from torch import nn
2>>> from torch.optim import SGD, Adam
3>>> sgd = SGD(nn.Linear(4, 8).parameters(), lr=0.1)
4>>> adam = Adam(nn.Linear(8, 2).parameters(), lr=0.01)
5>>> composite = CompositeOptimizer([sgd, adam])
6>>> [group["lr"] for group in composite.param_groups]
7[0.1, 0.01]
8>>> "betas" in composite.defaults
9False
10>>> composite.state_dict()["optimizers"]
11['SGD', 'Adam']方法
init
Python
1def __init__(inners: Sequence[Optimizer]):defaults 只包含所有内部优化器共享的键,其值取自第一个内部优化器。参数inners(Sequence[Optimizer]): 内部优化器,按照它们在 param_groups 中的组的顺序排列。
ValueError: 如果inners为空。如果inners包含多个优化器,并且其中一个优化器是LBFGS优化器,也会引发此错误。LBFGS需要步长闭包,而 step 不会将闭包传递给内部优化器。
add_param_group
Python
1def add_param_group(param_group: dict[str, Any]):param_group(dict[str, Any]): 组。该方法不使用它。
RuntimeError: 总是。
load_state_dict
Python
1def load_state_dict(state_dict: dict[str, Any]):"inners" 的每个条目加载到相同位置的内部优化器中。参数state_dict(dict[str, Any]): CompositeOptimizer.state_dict 方法返回的状态。
ValueError: 如果"format"不是"luxonis_composite",例如在单个优化器的检查点中。如果"version"不是1,或者如果"optimizers"中的类名与当前内部优化器不同,也会引发此错误。
param_groups.setter
Python
1def param_groups.setter(value: Any):state.setter
Python
1def state.setter(value: Any):state_dict
Python
1def state_dict(self) -> dict[str, Any]:dict[str, Any]: 包含以下键的字典。"format"为"luxonis_composite"。"version"为1。"optimizers"包含每个内部优化器的类名。"inners"包含每个内部优化器的state_dict()。
step
Python
1def step(closure: Callable[[], Any] | None = None) -> Any:closure。然后,它按顺序调用每个内部优化器的 step(),不带闭包。内部步进会触发 torch 的步进钩子。复合优化器不触发自己的钩子。参数closure(Callable[[], Any] | None): 计算损失和梯度的函数,或None。
Any:closure的返回值,如果没有闭包则为None。
zero_grad
Python
1def zero_grad(set_to_none: bool = True):set_to_none(bool): 是否将梯度设置为None而不是零。该方法将其传递给每个内部优化器。
属性
defaults
inner_optimizers
param_groups
TypeError。state
state[parameter] 的写入会转到拥有该参数的内部优化器。如果某个参数没有内部优化器拥有,则会引发 KeyError。对属性的赋值会引发 TypeError。STATE_DICT_FORMAT
函数
unwrap_optimizers
Python
1def unwrap_optimizers(optimizers: Sequence[Optimizer]) -> list[Optimizer]:示例
Pycon
1>>> from torch import nn
2>>> from torch.optim import SGD, Adam
3>>> sgd = SGD(nn.Linear(2, 2).parameters(), lr=0.1)
4>>> adam = Adam(nn.Linear(2, 2).parameters(), lr=0.01)
5>>> composite = CompositeOptimizer([sgd, adam])
6>>> unwrap_optimizers([composite]) == [sgd, adam]
7True
8>>> unwrap_optimizers([sgd]) == [sgd]
9True