ohem_loss
最后更新
luxonis_train.attached_modules.losses.ohem_loss一个损失包装器,仅对最难的元素进行平均。类
OHEMLoss
Inputs::predictions(Tensor):[B, C, ...]logits,传递给准则target(Tensor): 任务的标签,传递给准则
Outputs::Tensor: 标量
Formula:: 准则计算每个元素的损失,reduction="none"。损失将这 n 个值按降序排序,即 ℓ0 ≥ ℓ1 ≥ …。使用比率 r =ohem_ratio和概率 p =ohem_threshold: k = min(⌊r n⌋, n − 1), τ = − lnp 当 ℓk > τ 时,损失是所有高于 τ 的值的平均值。否则,损失是 k 个最大值的平均值。对于没有类别权重和标签平滑的交叉熵,高于 τ 的值意味着目标预测概率低于 p。
References
- 来源: 本项目。
- 许可证: Apache-2.0 (本项目)
Notes
criterion="auto" 为只有一个类别的节点选择 BCEWithLogitsLoss,否则选择 CrossEntropyLoss。当 k = 0 且 ℓ0 ≤ τ 时,损失返回 nan,因为没有值的平均值是 nan。对于没有元素的输入,它返回元素损失的空张量。Example
在
model.nodes 中附加到 DDRNetSegmentationHead:Yaml
1- name: DDRNetSegmentationHead
2 inputs: [DDRNet]
3 losses:
4 - name: OHEMLossCompatible with::
方法
init
Python
1def __init__(criterion: str | type[BaseLoss] | Literal['auto'] = 'auto', ohem_ratio: float = 0.1, ohem_threshold: float = 0.7, **kwargs):**kwargs 和 reduction="none" 创建准则,因此准则必须接受 reduction。参数criterion(str | type[BaseLoss] | Literal['auto']): 计算每个元素值的损失。字符串名称是 LOSSES 注册表中的损失,例如"CrossEntropyLoss"。未知名称会引发KeyError。该方法使用 BaseLoss 子类。当节点只有一个类时,"auto"选择"BCEWithLogitsLoss",否则选择"CrossEntropyLoss"。然后该方法会记录有关推断任务的警告。如果没有节点,"auto"会引发ValueError。ohem_ratio(float): 比率 r,用于设置当 ℓk ≤ τ 时损失保留的最大值数量 k。ohem_threshold(float): 概率 p,用于设置损失阈值 τ = − lnp。**kwargs: 转发给 BaseLoss 和准则的关键字参数,例如final_loss_weight和node。两者接收相同的参数,因此只有准则接受的参数(例如label_smoothing)会引发TypeError。
forward
Python
1def forward(predictions: Tensor, target: Tensor) -> Tensor:Example
四个元素的交叉熵为
0.1269 或 2.1269。当 ohem_ratio=0.5 时,k 为 2,ℓ2 为 0.1269。默认阈值给出 τ = − ln0.7 ≈ 0.357,因此损失保留两个最大值。阈值 0.9 给出 τ ≈ 0.105,因此损失保留所有高于它的值:Pycon
1>>> import torch
2>>> logits = torch.tensor([[2.0, 0.0], [0.0, 2.0]]).repeat(2, 1)
3>>> target = torch.tensor([0, 0, 1, 1])
4>>> loss = OHEMLoss("CrossEntropyLoss", ohem_ratio=0.5)
5>>> round(loss(logits, target).item(), 4)
62.1269
7>>> loss = OHEMLoss(
8... "CrossEntropyLoss", ohem_ratio=0.5, ohem_threshold=0.9
9... )
10>>> round(loss(logits, target).item(), 4)
111.1269predictions(Tensor): 节点的主要输出,传递给准则。对于默认准则,形状为[B, C, ...]的 logits。target(Tensor): 任务的单个标签,例如形状为[B, C, H, W]的segmentation标签,传递给准则。
Tensor: 保留的元素损失的平均值,作为标量。当方法不保留任何元素时,值为nan。对于没有元素的输入,该方法返回元素损失的空张量。