fomo_localization_loss
最后更新
luxonis_train.attached_modules.losses.fomo_localization_lossFOMO 对象中心热图的加权焦点损失。类
FOMOLocalizationLoss
输入::heatmap(Tensor): [B, nclasses, Hf, Wf] logitstarget(Tensor): [M, 6],[batch, class, x, y, w, h],xywh归一化
输出::Tensor: 标量
公式:: 目标热图 y 在包含框中心的单元格中为1,在框类别的通道中。在所有其他单元格中为0。对于每个单元格的 logit x: L = (1)/(B nclasses Hf Wf)∑α (1 − pt)γ w BCE(x, y), pt = exp( − BCE(x, y)) BCE 是带有 logits 的二元交叉熵,pt 是目标值的预测概率。w 在中心单元格中是object_weight,在其他单元格中是1。α 是alpha,γ 是gamma。
参考
- 来源:本项目。
- 许可证:Apache-2.0(本项目)
注意事项
FOMO 任务没有关键点标签,因此损失使用框中心作为目标。具有归一化左上角 (x, y) 和大小 (w, h) 的框的中心位于列 ⌊(x + w ⁄ 2) Wf⌋ 和行 ⌊(y + h ⁄ 2) Hf⌋。同一类别的两个框,其中心位于同一单元格中,则生成一个目标单元格。与通常的焦点损失不同,α 以相同的因子缩放中心单元格和其他单元格。
示例
附加到
model.nodes 中的 FOMOHead:Yaml
1- name: FOMOHead
2 inputs: [EfficientRep]
3 losses:
4 - name: FOMOLocalizationLoss方法
init
Python
1def __init__(object_weight: float = 500, alpha: float = 0.45, gamma: float = 2, **kwargs):node,BaseAttachedModule.node 会引发 RuntimeError。参数object_weight(float): 中心单元格中损失的因子 w。其他单元格的因子为1。alpha(float): 每个单元格中损失的因子 α。gamma(float): 焦点项的指数 γ。值越高,头部已经很好预测的单元格的损失越低。0会移除焦点项。**kwargs: 转发给 BaseLoss 的关键字参数,例如final_loss_weight和node。
forward
Python
1def forward(heatmap: Tensor, target: Tensor) -> Tensor:示例
该示例使用
4x4 网格上零 logits 的热图。一个框的中心位于第 2 列和第 2 行。每个单元格都有二元交叉熵 ln2 和焦点因子 0.45⋅0.52。中心单元格的权重为 500,因此它贡献了大部分损失:Pycon
1>>> import torch
2>>> from torch import Size
3>>> from luxonis_train.nodes import FOMOHead
4>>> sizes = [Size([1, 8, 8, 8]), Size([1, 16, 4, 4])]
5>>> head = FOMOHead(
6... n_classes=1,
7... input_shapes=[{"features": sizes}],
8... original_in_shape=Size([3, 32, 32]),
9... )
10>>> heatmap = torch.zeros(1, 1, 4, 4)
11>>> target = torch.tensor([[0.0, 0.0, 0.25, 0.25, 0.5, 0.5]])
12>>> loss = FOMOLocalizationLoss(node=head)
13>>> round(loss(heatmap, target).item(), 4)
142.51
15>>> loss = FOMOLocalizationLoss(node=head, object_weight=1)
16>>> round(loss(heatmap, target).item(), 4)
170.078heatmap(Tensor): 形状为[B, n_classes, H, W]的类别 logits,来自节点输出的heatmap键。target(Tensor): 形状为[M, 6]的boundingbox标签。每行包含批次索引、类别以及一个框的归一化x、y、w和h。x和y表示左上角。
Tensor:heatmap所有单元格的加权焦点损失的平均值,作为标量。