efficient_keypoint_bbox_loss
最后更新
luxonis_train.attached_modules.losses.efficient_keypoint_bbox_lossEfficientKeypointBBoxHead 的类别、边界框和关键点损失。类
EfficientKeypointBBoxLoss
输入::features(list[Tensor]): 每个尺度的 [B, Ci, Hi, Wi]class_scores(Tensor): [B, N, nclasses] sigmoid 分数distributions(Tensor): [B, N, 4],以步长单位表示的(l, t, r, b)keypoints_raw(Tensor): [B, N, 3**n*keypoints],每个关键点的原始(x, y, v)target_boundingbox(Tensor): [M, 6],[batch, class, x, y, w, h],xywh归一化target_keypoints(Tensor): [M, 1 + 3**n*keypoints],[batch, x, y, v, ...],x和y归一化
输出::Tensor: 标量总损失dict[str, Tensor]: 子损失class、iou、regression和visibility,不含损失权重
公式:: 类别项 Lcls 和边界框项 Liou 是 AdaptiveDetectionLoss 的两个项,每个项都除以 max(S, 1)。S 是分配分数的总和。预热后,TaskAlignedAssigner 也会读取关键点。它将其 IoU 乘以对象关键点相似度。预热 ATSSAssigner 忽略关键点。 关键点项只读取正锚点集 P。对于锚点 a 和关键点 i,预测位置 (x̂a, i, ŷa, i) 来自 dist2kpts_noscale。目标位置 (xa, i, ya, i) 是分配实例的关键点,除以锚点的步长。两个位置都在网格单位中。当目标可见性高于0时,va, i 为1,否则为0: Lkpt = (1)/(|P|)∑a ∈ P(∑iva, i(1 − exp( − da, i)))/(∑iva, i),da, i = ((x̂a, i − xa, i)2 + (ŷa, i − ya, i)2)/(2 (2σi)2 Aa) σi 是关键点 i 的 sigma,Aa 是分配边界框在网格单位中的面积乘以area_factor。代码将1e-9添加到 Aa 和 ∑iva, i 以防止除以零。可见性项 Lvis 是原始可见性 v̂a, i 和 va, i 之间所有正锚点的所有关键点的平均二元交叉熵(带 logits)。viz_pw是其正部分的权重。总损失为: L = λclsLcls + λiouLiou + λkptLkpt + λvisLvis λcls、λiou、λkpt 和 λvis 分别是class_loss_weight、iou_loss_weight、regr_kpts_loss_weight和vis_kpts_loss_weight。
参考
- 来源:重新实现了 YOLOv6: A Single-Stage Object Detection Framework for Industrial Applications 和 PP-YOLOE: An evolved version of YOLO。
- 许可证:Apache-2.0(本项目)
注意
该损失扩展了 AdaptiveDetectionLoss。第一次调用会构建锚点,与该类相同。没有正锚点的批次(例如没有实例的批次)会使关键点项和总损失都为
nan。对于没有实例的批次,损失还会记录一条调试消息。示例
在
model.nodes 中附加到 EfficientKeypointBBoxHead:Yaml
1- name: EfficientKeypointBBoxHead
2 inputs: [RepPANNeck]
3 losses:
4 - name: EfficientKeypointBBoxLoss兼容::
方法
init
Python
1def __init__(n_warmup_epochs: int = 0, iou_type: IoUType = 'giou', reduction: Literal['sum', 'mean'] = 'mean', class_loss_weight: float = 0.5, iou_loss_weight: float = 7.5, viz_pw: float = 1.0, regr_kpts_loss_weight: float = 12, vis_kpts_loss_weight: float = 1.0, sigmas: list[float] | None = None, area_factor: float | None = None, **kwargs):node,BaseAttachedModule.node 会引发 RuntimeError。边界框项的代码改编自 PPYOLOE_pytorch。参数n_warmup_epochs(int): 从第0个 epoch 开始计算的 epoch 数量,这些 epoch 使用 ATSSAssigner。后续 epoch 使用 TaskAlignedAssigner,它也读取关键点。iou_type(IoUType): 边界框项的 IoU 变体:"none"表示普通 IoU,"giou"、"diou"、"ciou"或"siou"。reduction(Literal['sum', 'mean']): 该方法将其存储为self.reduction。损失不读取它。class_loss_weight(float): 类别项的因子 λcls。iou_loss_weight(float): 边界框项的因子 λiou。viz_pw(float): 可见性项中二元交叉熵正部分的权重。regr_kpts_loss_weight(float): 关键点回归项的因子 λkpt。vis_kpts_loss_weight(float): 可见性项的因子 λvis。sigmas(list[float] | None): 每个关键点一个 sigma。None选择17个关键点的 COCO 人体 sigmas,否则每个关键点为0.04。get_sigmas 记录选择。长度与关键点数量不符的列表会引发ValueError。area_factor(float | None): 在关键点回归项和 TaskAlignedAssigner 中,将边界框面积缩放到姿态面积的因子。None使用0.53并记录一条信息消息。**kwargs: 转发给 AdaptiveDetectionLoss 的关键字参数,例如per_class_weights、skip_stal、final_loss_weight和node。
dist2kpts_noscale
Python
1def dist2kpts_noscale(anchor_points: Tensor, kpts: Tensor) -> Tensor:kpts。参数anchor_points(Tensor): 形状为[N, 2]的锚点,表示为(x, y)。损失以网格单位传递它们。kpts(Tensor): 形状为[B, N, n_keypoints, 3]的原始关键点值。
Tensor: 解码后的关键点,形状与kpts相同,单位与anchor_points相同。
forward
Python
1def forward(features: list[Tensor], class_scores: Tensor, distributions: Tensor, keypoints_raw: Tensor, target_boundingbox: Tensor, target_keypoints: Tensor) -> tuple[Tensor, dict[str, Tensor]]:distributions 解码为 xyxy 边界框,将 keypoints_raw 解码为关键点,两者都在锚点周围的网格单位中。它将目标转换为每个图像的填充张量,以输入图像的像素为单位。当前 epoch 的分配器然后将锚点与目标边界框匹配。TaskAlignedAssigner 还会比较像素中的关键点。然后,该方法计算类别公式的四个项。对于没有实例的批次,该方法会记录一条调试消息。参数features(list[Tensor]): 头的特征图,每个尺度一个形状为[B, C_i, H_i, W_i]。只有第一次调用使用它们来构建锚点。class_scores(Tensor): 形状为[B, N, n_classes]的 Sigmoid 类别分数,用于所有尺度的N个锚点。distributions(Tensor): 从每个锚点到其边界框的左、上、右和下侧的距离,形状为[B, N, 4],以步长单位表示。keypoints_raw(Tensor): 形状为[B, N, 3 * n_keypoints]的原始关键点值。每个关键点都有原始的x和y偏移量以及一个可见性 logit。target_boundingbox(Tensor): 形状为[M, 6]的boundingbox标签。每行包含批次索引、类别以及一个边界框的归一化x、y、w和h。x和y表示左上角。target_keypoints(Tensor): 形状为[M, 1 + 3 * n_keypoints]的keypoints标签,行顺序与target_boundingbox相同。每行包含批次索引,然后是每个关键点的归一化x和y以及可见性。
tuple[Tensor, dict[str, Tensor]]: 总损失(标量)和子损失"class"、"iou"、"regression"和"visibility"。子损失是分离的项,不含其因子。当没有锚点为正时,总损失和两个关键点子损失为nan。