此页面由 AI 自动翻译。查看英文原版
最后更新

本页目录

  • 类
  • PrecisionSegmentBBoxHead
  • 函数
  • refine_and_apply_masks
Claude CodeCodexCursor
Luxonis 智能体工具包为你常用的编程智能体加载 Luxonis 上下文与技能,更快地基于 OAK 开发应用。
安装工具包

precision_seg_bbox_head

最后更新
Python API: luxonis_train.nodes.heads.precision_seg_bbox_headYOLOv8 实例分割头,它预测共享原型集上的掩码系数。

类

PrecisionSegmentBBoxHead

精确实例分割和检测头。该头将掩码添加到 PrecisionBBoxHead 的框中。每个检测都从共享原型集中获取一个掩码。
  • 输入::
    • inputs (list[Tensor]): 每个尺度的 [B, Ci, Hi, Wi],输入节点的最后 n_heads 个输出
  • 输出::
    • 训练:
      • features (list[Tensor]): 每个尺度的 [B, 4⋅regmax + nclasses, Hi, Wi],logits
      • prototypes (Tensor): [B, nmasks, 2H0, 2W0]
      • mask_coefficients (Tensor): [B, nmasks, N],N = ∑iHiWi
    • 评估:
      • features (list[Tensor]): 每个尺度的 [B, 4⋅regmax + nclasses, Hi, Wi],logits
      • prototypes (Tensor): [B, nmasks, 2H0, 2W0]
      • mask_coefficients (Tensor): [B, nmasks, N]
      • boundingbox (list[Tensor]): 每张图像的 [Mi, 6],[x1, y1, x2, y2, score, class],像素
      • instance_segmentation (list[Tensor]): 每张图像的 [Mi, H, W],二进制
      • detections_pre_nms (Tensor): [B, N, 5 + nclasses + nmasks],仅在请求时
    • 导出:
      • boundingbox (list[Tensor]): 每个尺度的 [B, 5 + nclasses, Hi, Wi],DFL 解码
      • masks (list[Tensor]): 每个尺度的 [B, nmasks, Hi, Wi],掩码系数
      • prototypes (Tensor): [B, nmasks, 2H0, 2W0]
  • 变体:: 无。通过 params 配置节点。

方法

init
Python
1def __init__(n_heads: Literal[2, 3, 4] = 3, n_masks: int = 32, n_proto: int = 64, conf_thres: float = 0.25, iou_thres: float = 0.45, max_det: int = 300, **kwargs):
初始化掩码分支和原型生成器。父类构建框分支。每个尺度的掩码分支有两个 3x3 ConvBlock 层,带有批归一化和 SiLU。接着是一个 1x1 卷积,输出通道数为 n_masks。每个掩码分支的隐藏宽度是 n_masks 和 in_channels[0] // 4 中较大的一个。in_channels[0] 是第一个尺度的通道数。SegProto 也读取第一个特征图。参数
  • n_heads (Literal[2, 3, 4]): 尺度数量。头部读取输入节点的最后 n_heads 个输出。attach_index 参数替换此选择。它必须选择一个范围或 "all"。整数索引会使构造函数引发 TypeError。当头部获得的输出较少时,它会记录警告并使用该数量。当 attach_index 选择更多输出时,构造函数会引发 ValueError。默认为 3。
  • n_masks (int): 原型掩码的数量。它也是每个锚点的掩码系数数量。默认为 32。
  • n_proto (int): SegProto 原型生成器的隐藏通道数。默认为 64。
  • conf_thres (float): NMS 仅保留最大类别分数高于此值的框。该值必须在 [0, 1] 之间。默认为 0.25。
  • iou_thres (float): 当一个框与同类别且分数更高的框的 IoU 高于此值时,NMS 会移除该框。该值必须在 [0, 1] 之间。默认为 0.45。
  • max_det (int): NMS 为每张图像保留的最大框数。默认为 300。
  • **kwargs: PrecisionBBoxHead 的关键字参数,例如 reg_max,以及 BaseNode 的关键字参数。它们必须包含 original_in_shape、通过 input_shapes 或 in_sizes 的输入大小,以及通过 n_classes 或 dataset_metadata 的类别计数。
forward
Python
1def forward(inputs: list[Tensor]) -> Packet[Tensor]:
运行分支并返回当前模式的数据包。每个 PreciseDecoupledBlock 返回一个尺度的特征、类别 logits 和距离 bin logits。SegProto 从第一个特征图构建原型。每个尺度的掩码分支预测其锚点的掩码系数。导出模式优先于训练模式。数据包取决于模式:
  • 导出模式:"boundingbox" 为每个尺度保存一个形状为 [B, 5 + n_classes, H_i, W_i] 的映射。其通道是步幅单位的距离 (l, t, r, b)、最大类别分数和类别分数。当 reg_max 大于 1 时,DFL 解码距离。分数是 sigmoid 概率。"masks" 为每个尺度保存形状为 [B, n_masks, H_i, W_i] 的掩码系数。"prototypes" 保存形状为 [B, n_masks, 2 * H_0, 2 * W_0] 的原型。
  • 训练模式:"features" 为每个尺度保存形状为 [B, 4 * reg_max + n_classes, H_i, W_i] 的回归和类别 logits。"prototypes" 与导出模式相同。"mask_coefficients" 保存所有 N 个锚点的系数,形状为 [B, n_masks, N],其中 N = ∑iHiWi。
  • 评估模式:训练模式的键和 NMS 结果。"boundingbox" 为每张图像保存一个形状为 [M_i, 6] 的张量。每行是 [x1, y1, x2, y2, score, class],角点在模型输入图像的像素中。"instance_segmentation" 保存这些框的掩码,形状为 [M_i, H, W],值为 0 和 1。H 和 W 来自 original_in_shape。对于没有框的图像,M_i 为 0,掩码张量的数据类型为 uint8。在调用 BaseDetectionHead.request_detections_pre_nms 后,数据包还包含 NMS 输入 "detections_pre_nms",形状为 [B, N, 5 + n_classes + n_masks]。
参数
  • inputs (list[Tensor]): 每个尺度的一个特征图,形状为 [B, C_i, H_i, W_i]。H_0 和 W_0 是第一个映射的高度和宽度。
返回
  • Packet[Tensor]: 当前模式的数据包,包含描述中给出的键。

属性

export_output_names
导出模型的输出名称。导出模型中头部有 2 * n_heads + 1 个输出。ONNX 导出按输出键对它们进行排序。默认名称遵循此顺序:
  • output1_yolov8 到 output{n_heads}_yolov8 用于 "boundingbox" 映射。
  • output1_masks 到 output{n_heads}_masks 用于 "masks" 系数。
  • protos_output 用于 "prototypes"。
仅当 export_output_names 参数包含恰好 n_heads 个名称时,它才会替换默认名称。每次给出默认名称时,头部都会记录警告。该值从不为 None。警告: 包含 n_heads 个名称的参数的名称数量少于导出模型的输出数量。因此,ONNX 导出会记录警告并忽略这些名称。NN Archive 仍然将这 n_heads 个名称列为头部的输出。
parser
proto
segmentation_heads

函数

refine_and_apply_masks

Python
1def refine_and_apply_masks(mask_prototypes: Tensor, predicted_masks: Tensor, bounding_boxes: Tensor, height: int, width: int, upsample: bool = False) -> Tensor:
构建每个检测的掩码并将其裁剪到其框中。检测的掩码是 ∑kckPk,其中 Pk 是原型 k,ck 是检测的掩码系数 k。该函数将框从图像大小缩放到原型大小。它将每个框外部的掩码像素设置为零。使用 upsample,它通过双线性插值将掩码调整为 height 乘以 width。当像素值 x > 0 时,该像素在掩码中。此条件等同于 σ(x) > 0.5,其中 σ 是 sigmoid。插值可以使掩码稍微超出其框。参数
  • mask_prototypes (Tensor): 原型掩码,形状为 [n_masks, h, w]。
  • predicted_masks (Tensor): 每个检测的掩码系数,形状为 [N, n_masks]。
  • bounding_boxes (Tensor): 每个检测的 xyxy 框,在 height 乘以 width 图像的像素中,形状为 [N, 4]。
  • height (int): 图像高度,以像素为单位。
  • width (int): 图像宽度,以像素为单位。
  • upsample (bool): 是否将掩码调整为 height 乘以 width。默认为 False。
返回
  • Tensor: 值为 0 和 1 的浮点掩码张量。使用 upsample 时,其形状为 [N, height, width],不使用时为 [N, h, w]。当 predicted_masks 或 bounding_boxes 没有行时,函数返回形状为 [0, height, width] 的 uint8 张量。