precision_dfl_segmentation_loss
最后更新
luxonis_train.attached_modules.losses.precision_dfl_segmentation_lossYOLOv8 检测损失,带有一个用于实例分割的掩码项。类
PrecisionDFLSegmentationLoss
输入::features(list[Tensor]): 每个尺度的 [B, 4**reg*max + nclasses, Hi, Wi],距离 bin logits 后跟类别 logitsprototypes(Tensor): [B, nmasks, 2H*0, 2W*0]mask_coefficients(Tensor): [B, nmasks, N],用于所有尺度的 N 个锚点target_boundingbox(Tensor): [Ngt, 6],[batch_index, class, x, y, w, h],xywh归一化,x和y在左上角target_instance_segmentation(Tensor): [Ngt, H, W],每个目标框一个掩码,顺序相同
输出::Tensor: 标量总损失dict[str, Tensor]: 标量子损失class、iou、dfl、seg,已分离且不带权重
公式:: Lcls、Liou 和 Ldfl 项与 PrecisionDFLDetectionLoss 相同。P 是批次中所有图像中的正锚点集。对于锚点 a,掩码 logit 图 ma = ∑kca, k pk 是原型 pk 的总和,由锚点的掩码系数 ca, k 加权。原型的大小为 h×w。ga 是分配框的目标掩码,大小为 h×w。Aa 是该框面积占图像面积的比例。cropa 将框外的像素设置为0: Lseg = (1)/(|P|)∑a ∈ P(1)/(Aa h**w)∑x, ycropa(BCE(ma, ga))x, y L = λclsLcls + λboxLiou + λdflLdfl + λboxLseg 掩码项使用框权重bbox_loss_weight。
注意
当批次中没有正锚点时,
seg 项和总损失为 NaN。掩码项除以正锚点的数量,即使该数量为 0。PrecisionDFLDetectionLoss 中关于锚点缓存和 reg_max 为 1 的注意事项也适用于此处。示例
附加到
model.nodes 中的 PrecisionSegmentBBoxHead:Yaml
1- name: PrecisionSegmentBBoxHead
2 inputs: [RepPANNeck]
3 losses:
4 - name: PrecisionDFLSegmentationLoss方法
init
Python
1def __init__(tal_topk: int = 10, class_loss_weight: float = 0.5, bbox_loss_weight: float = 7.5, dfl_loss_weight: float = 1.5, skip_stal: bool = False, **kwargs):node。当配置使用预定义的 InstanceSegmentationModel 且 trainer.smart_cfg_auto_populate 为 True 时,配置会更改这三个权重。它将每个权重设置为其默认值乘以 trainer.accumulate_grad_batches。这些值会替换模型 loss_params 中的权重。参数tal_topk(int): TaskAlignedAssigner 的topk,每个目标框的最大正锚点数。class_loss_weight(float): 分类项的权重。bbox_loss_weight(float): CIoU 框项和掩码项的权重。dfl_loss_weight(float): DFL 项的权重。skip_stal(bool): 是否在分配器中关闭小目标感知标签分配 (STAL)。**kwargs: 转发给 PrecisionDFLDetectionLoss 的关键字参数,例如node和final_loss_weight。
compute_segmentation_loss
Python
1def compute_segmentation_loss(fg_mask: Tensor, gt_masks: Tensor, gt_idx: Tensor, bboxes: Tensor, batch_ids: Tensor, proto: Tensor, pred_masks: Tensor) -> Tensor:0。锚点的损失是所有掩码像素的平均值。该方法将此平均值除以框面积占图像面积的比例。没有正锚点的图像会添加一个零,该零取决于 proto 和 pred_masks,因此两者都保留在自动梯度图中。该方法读取 forward 缓存的图像比例,因此 forward 必须先运行。参数fg_mask(Tensor): 正锚点的布尔掩码,形状为[B, N]。gt_masks(Tensor): 所有图像的目标掩码,形状为[N_gt, h, w],原型大小。一个图像的掩码按其目标框的顺序排列。gt_idx(Tensor): 对于每个锚点,其图像中分配框的索引,形状为[B, N]。bboxes(Tensor): 输入图像中xyxy像素的分配框,形状为[B, N, 4]。batch_ids(Tensor): 每个目标掩码的图像索引,形状为[N_gt, 1]。proto(Tensor): 掩码原型,形状为[B, n_masks, h, w]。pred_masks(Tensor): 掩码系数,形状为[B, N, n_masks]。
Tensor: 锚点损失的标量和,除以正锚点的数量。当fg_mask没有正锚点时为NaN。
forward
Python
1def forward(features: list[Tensor], prototypes: Tensor, mask_coefficients: Tensor, target_boundingbox: Tensor, target_instance_segmentation: Tensor) -> tuple[Tensor, dict[str, Tensor]]:target_instance_segmentation:- 当它为空时,该方法将其替换为形状为
[0, h, w]的空张量,即原型大小。 - 当其大小不是原型大小时,该方法使用最近邻插值将其大小调整为
[h, w]。
features(list[Tensor]): 每个尺度一个张量,形状为[B, 4 * reg_max + n_classes, H_i, W_i]。节点的features输出。prototypes(Tensor): 掩码原型,形状为[B, n_masks, h, w]。节点的prototypes输出。mask_coefficients(Tensor): 掩码系数,形状为[B, n_masks, N],用于所有尺度的N个锚点。节点的mask_coefficients输出。target_boundingbox(Tensor): 目标框,形状为[N_gt, 6],行格式为[batch_index, class, x, y, w, h]。坐标xywh归一化到[0, 1],x和y在左上角。任务的boundingbox标签。target_instance_segmentation(Tensor): 目标掩码,形状为[N_gt, H, W],与target_boundingbox的每一行对应,顺序相同。任务的instance_segmentation标签。
tuple[Tensor, dict[str, Tensor]]: 标量加权总损失,以及一个将"class"、"iou"、"dfl"和"seg"映射到权重之前的分离项的字典。当没有锚点为正时,总损失和"seg"为NaN。当节点的reg_max为1且锚点为正时,总损失和"dfl"的形状为[1]。