sigmoid_focal_loss
最后更新
luxonis_train.attached_modules.losses.sigmoid_focal_loss二元焦点损失,降低了简单样本的权重。类
SigmoidFocalLoss
输入::predictions(Tensor):[B, C, ...]logitstarget(Tensor): 相同形状,[0, 1]中的浮点值
输出::Tensor: 标量,或当reduction为"none"时为[B, C, ...]
公式:: 对于目标为 y 的 logit x,令 p = σ(x) 且 pt = p**y + (1 − p)(1 − y)。一个元素的损失为 ℓ = − αt (1 − pt)γ[ylogp + (1 − y)log(1 − p)] 其中 αt = α**y + (1 − α)(1 − y),alpha为-1时 αt = 1。reduction然后对所有元素取平均值或求和,或保留每个元素的损失。
参考
- 来源:封装 torchvision.ops.sigmoid_focal_loss (BSD-3-Clause)。
- 论文:Focal Loss for Dense Object Detection
- 许可证:Apache-2.0(本项目)
注意
该类封装了
torchvision.ops.sigmoid_focal_loss,并且没有添加自己的检查。示例
附加到
model.nodes 中的 DDRNetSegmentationHead:Yaml
1- name: DDRNetSegmentationHead
2 inputs: [DDRNet]
3 losses:
4 - name: SigmoidFocalLoss兼容::
方法
init
Python
1def __init__(alpha: float = 0.25, gamma: float = 2.0, reduction: Literal['none', 'mean', 'sum'] = 'mean', **kwargs):torchvision,后者会为不接受的值引发 ValueError。参数alpha(float): 正元素的权重 α,范围为[0, 1]。负元素获得 1 − α。-1关闭加权。gamma(float): 焦点因子 (1 − pt) 的指数。值越大,对预测良好的元素的损失降低越多。0给出二元交叉熵,按alpha加权。reduction(Literal['none', 'mean', 'sum']): 如何减少元素的损失:"none": 返回每个元素的损失。"mean": 返回所有元素的平均值。"sum": 返回所有元素的总和。
**kwargs: 转发到 BaseLoss 的关键字参数,例如final_loss_weight和node。
forward
Python
1def forward(predictions: Tensor, target: Tensor) -> Tensor:alpha 或 reduction 具有不接受的值时,torchvision 会引发 ValueError。示例
当
alpha=-1 和 gamma=0 时,损失是二元交叉熵。默认的焦点因子使其更小:Pycon
1>>> import torch
2>>> import torch.nn.functional as F
3>>> logits = torch.tensor([[2.0, -1.0]])
4>>> target = torch.tensor([[1.0, 0.0]])
5>>> bce = F.binary_cross_entropy_with_logits(logits, target)
6>>> plain = SigmoidFocalLoss(alpha=-1.0, gamma=0.0)
7>>> torch.allclose(plain(logits, target), bce)
8True
9>>> bool(SigmoidFocalLoss()(logits, target) < bce)
10Truepredictions(Tensor): 形状为[B, C, ...]的 logits,是节点的主要输出。target(Tensor): 形状与predictions相同的[0, 1]中的浮点目标。
Tensor: 对于"mean"和"sum"归约,是一个标量。对于"none",是每个元素的损失,形状为[B, C, ...]。