# triple_lr_sgd

Python API: `luxonis_train.strategies.triple_lr_sgd`

一种 SGD 策略，具有学习率预热和衰减功能。

该策略将参数分为 `BatchNorm2d` 权重、其他权重和偏差。

## 类

### TripleLRSGDStrategy

对三个参数组进行 SGD，具有预热和衰减功能。

该策略的规则将参数分为三组：

 * `triple_lr/batch_norm_weights`：每个 `BatchNorm2d` 的 `weight`，不带权重衰减。
 * `triple_lr/weights`：所有其他名为 `weight` 的参数，带 `weight_decay`。
 * `triple_lr/biases`：所有名为 `bias` 的参数，不带权重衰减。

每个组都使用带有 `lr`、`momentum` 和 `nesterov` 的 SGD。具有其他名称的参数将进入默认规则，该规则使用
[get_base_configs](/software-v3/ai-inference/model-source/training/luxonis-train/luxonis-train-api-reference/strategies/triple_lr_sgd.md)
的配置。

`LambdaLR` 调度器将每个组的学习率设置为 lr⋅f(e)，其中 e 是从 `0` 开始计数的 epoch。设 r = lre ⁄ lr，E 为 `trainer.epochs`。使用 `cosine_annealing` 时，因子为：

f(e) = 1 + (r − 1)⋅(1 − cos(π**e ⁄ E))/(2)

不使用 `cosine_annealing` 时，因子线性下降：

f(e) = r + (1 − r)⋅max(1 − e ⁄ E, 0)

这两个因子都从第一个 epoch 的 `1` 变为 epoch E 的 r。

在预热期间，[update_parameters](/software-v3/ai-inference/model-source/training/luxonis-train/luxonis-train-api-reference/strategies/triple_lr_sgd.md)
在每个步骤中设置三个规则组的学习率。学习率从起始值线性变化到 lr⋅f(e)。偏差组从 `warmup_bias_lr` 开始，其他组从 `0` 开始。

> **示例**
> 配置的 `trainer` 部分：

```yaml
trainer:
  training_strategy:
    name: TripleLRSGDStrategy
    params:
      lr: 0.02
      lre: 0.0002
      warmup_epochs: 3
      cosine_annealing: true
```

#### 方法

##### init

```python
def __init__(pl_module: lxt.LuxonisLightningModule, lr: float = 0.02, momentum: float = 0.937, weight_decay: float = 0.0005, nesterov: bool = True, warmup_epochs: int = 3, warmup_bias_lr: float = 0.1, warmup_momentum: float = 0.8, lre: float = 0.0002, cosine_annealing: bool = True):
```

存储设置并计算预热的长度。

一个 epoch 中的批次数量是 `ceil(len(pl_module.core.loaders["train"]) / trainer.batch_size)`。预热持续 `warmup_epochs` 乘以该步数，四舍五入，并且至少 `100` 步。

参数

 * `pl_module` (`lxt.LuxonisLightningModule`)：要训练的模块。策略读取其 `cfg`、`core.loaders` 和 `current_epoch`。
 * `lr` (`float`)：每个组的基础学习率。
 * `momentum` (`float`)：每个组的 SGD 动量。
 * `weight_decay` (`float`)：`triple_lr/weights` 组的权重衰减。
 * `nesterov` (`bool`)：SGD 是否使用 Nesterov 动量。
 * `warmup_epochs` (`int`)：预热的长度，以 epoch 为单位。
 * `warmup_bias_lr` (`float`)：预热开始时偏差组的学习率。
 * `warmup_momentum` (`float`)：策略存储该值，但不使用它。
 * `lre` (`float`)：训练结束时的学习率。
 * `cosine_annealing` (`bool`)：学习率因子是否遵循余弦曲线。如果为 `False`，则线性下降。

##### get_base_configs

```python
def get_base_configs(self) -> tuple[OptimizerConfig, SchedulerConfig]:
```

返回 SGD 配置和 `LambdaLR` 配置。

返回

 * `tuple[OptimizerConfig, SchedulerConfig]`：带有 `lr`、`momentum` 和 `nesterov` 的 SGD 配置，不带权重衰减。`LambdaLR` 配置，其 `lr_lambda`
   是类描述的学习率因子 f。

##### rules

```python
def rules(self) -> list[StrategyRule]:
```

返回策略的三个 SGD 规则。

`BatchNorm2d` 规则在权重规则之前，因此 `BatchNorm2d` 权重进入批归一化组。没有规则设置调度器，因此每个组都使用
[get_base_configs](/software-v3/ai-inference/model-source/training/luxonis-train/luxonis-train-api-reference/strategies/triple_lr_sgd.md)
的 `LambdaLR`。

返回

 * `list[StrategyRule]`：带有标签 `BATCH_NORM_TAG`、`WEIGHT_TAG` 和 `BIAS_TAG` 的规则，按此顺序。只有 `WEIGHT_TAG` 规则设置 `weight_decay`。

##### update_parameters

```python
def update_parameters(self):
```

设置组的预热学习率。

[TrainingManager](/software-v3/ai-inference/model-source/training/luxonis-train/luxonis-train-api-reference/callbacks/training_manager.md)
在每次反向传播后调用该方法。一次调用算作一步，即使有梯度累积也是如此。epoch 中的步数是调用次数除以 epoch 中的批次数量的余数。全局步数加上 `current_epoch` 乘以该数字。

当全局步数最多为预热长度时，该方法设置三个标签的每个组的 `lr`。在第 `0` 步，该值是组的起始值。在最后一个预热步，它是 lr⋅f(e)，其中 e 等于 `current_epoch`。在两个步之间，该值线性变化。预热结束后，该方法不改变任何组。

#### 属性

##### BATCH_NORM_TAG

##### BIAS_TAG

##### WEIGHT_TAG
