composite_scheduler
最后更新
luxonis_train.schedulers.composite_scheduler这些调度器协同调度 CompositeOptimizer 的成员调度器,以及一个用于更改基本学习率的辅助函数。类
CompositeLRScheduler
base_lrs 与该优化器的组匹配。Lightning 需要 scheduler.optimizer 是 configure_optimizers 返回的优化器。此类为 Lightning 提供了一个调度器,其 optimizer 是复合优化器。构造函数不调用 LRScheduler.__init__。成员已经进行了初始步骤并修补了其优化器的 step 计数器。示例
Pycon
1>>> from torch import nn
2>>> from torch.optim import SGD
3>>> from torch.optim.lr_scheduler import StepLR
4>>> first = SGD(nn.Linear(2, 2).parameters(), lr=0.1)
5>>> second = SGD(nn.Linear(2, 2).parameters(), lr=1.0)
6>>> composite = CompositeOptimizer([first, second])
7>>> scheduler = CompositeLRScheduler(
8... composite,
9... [StepLR(first, 1, gamma=0.5), StepLR(second, 1, gamma=0.1)],
10... )
11>>> composite.step()
12>>> scheduler.step()
13>>> [round(lr, 3) for lr in scheduler.get_last_lr()]
14[0.05, 0.1]方法
init
Python
1def __init__(composite: CompositeOptimizer, members: Sequence[LRScheduler]):last_epoch 设置为 0。参数composite(CompositeOptimizer): Lightning 接收的优化器。调度器将其存储为optimizer。members(Sequence[LRScheduler]): 成员调度器。每个都属于composite的一个内部优化器。
get_last_lr
Python
1def get_last_lr(self) -> list[float | Tensor]:list[float | Tensor]: 成员的get_last_lr()值,按成员顺序连接。列表为每个成员优化器的每个组包含一个值。
load_state_dict
Python
1def load_state_dict(state_dict: dict[str, Any]):last_epoch 并将 "members" 的每个条目加载到相同位置的成员中。参数state_dict(dict[str, Any]): CompositeLRScheduler.state_dict 方法返回的状态。
ValueError: 如果"version"不是1。如果成员状态的数量与成员数量不同,也会引发此错误。
state_dict
Python
1def state_dict(self) -> dict[str, Any]:dict[str, Any]: 一个包含以下键的字典。"version"为1。"last_epoch"包含last_epoch计数器。"members"包含每个成员的state_dict()。
step
Python
1def step(epoch: int | None = None):last_epoch 加 1,然后按顺序调用每个成员的 step()。参数epoch(int | None): Lightning 可以传递的 epoch。该方法忽略它。
属性
last_epoch
members
optimizer
CompositeReduceLROnPlateau
ReduceLROnPlateau,用于调度 CompositeOptimizer 的高原成员调度器。该类为监控值的成员执行 CompositeLRScheduler 的工作。每个成员都是复合优化器的一个内部优化器上的 ReduceLROnPlateau。Lightning 将监控值作为 step 的第一个参数传递。构造函数不调用 ReduceLROnPlateau.__init__。成员持有高原设置,例如 mode 和 patience。方法
init
Python
1def __init__(composite: CompositeOptimizer, members: Sequence[ReduceLROnPlateau]):composite(CompositeOptimizer): Lightning 接收的优化器。调度器将其存储为optimizer。members(Sequence[ReduceLROnPlateau]): 成员调度器。每个都属于composite的一个内部优化器。
load_state_dict
Python
1def load_state_dict(state_dict: dict[str, Any]):"members" 的每个条目加载到相同位置的成员中。参数state_dict(dict[str, Any]): CompositeReduceLROnPlateau.state_dict 方法返回的状态。
ValueError: 如果"version"不是1。如果成员状态的数量与成员数量不同,也会引发此错误。
state_dict
Python
1def state_dict(self) -> dict[str, Any]:dict[str, Any]: 一个包含键"version"(为1)和"members"(包含每个成员的state_dict())的字典。
step
Python
1def step(metrics: Any, epoch: int | None = None):metrics(Any): 监控值,例如验证损失。epoch(int | None): Lightning 可以传递的 epoch。该方法忽略它。
属性
members
optimizer
函数
rebase_scheduler_lr
Python
1def rebase_scheduler_lr(scheduler: LRScheduler | ReduceLROnPlateau, index: int, lr: float):base_lrs[index]。对于 SequentialLR 或 ChainedScheduler,它设置每个子调度器中的条目,以及子调度器的子调度器中的条目。没有 base_lrs 的调度器(例如 ReduceLROnPlateau)不会改变。该函数不会改变组的 lr 或 initial_lr。TrainingPlanRuntime.set_group_base_lr 设置它们。示例
Pycon
1>>> from torch import nn
2>>> from torch.optim import SGD
3>>> from torch.optim.lr_scheduler import StepLR
4>>> optimizer = SGD(nn.Linear(2, 2).parameters(), lr=0.1)
5>>> scheduler = StepLR(optimizer, step_size=1)
6>>> rebase_scheduler_lr(scheduler, 0, 0.5)
7>>> scheduler.base_lrs
8[0.5]
9>>> optimizer.param_groups[0]["lr"]
100.1scheduler(LRScheduler | ReduceLROnPlateau): 调度器。index(int): 调度器优化器中参数组的索引。lr(float): 新的基本学习率。