此页面由 AI 自动翻译。查看英文原版
最后更新

本页目录

  • 类
  • PrecisionBBoxHead
Claude CodeCodexCursor
Luxonis 智能体工具包为你常用的编程智能体加载 Luxonis 上下文与技能,更快地基于 OAK 开发应用。
安装工具包

precision_bbox_head

最后更新
Python API: luxonis_train.nodes.heads.precision_bbox_headYOLOv8 检测头,它回归距离 bin 的分布而不是单一距离。

类

PrecisionBBoxHead

精确边界框检测头。
  • 输入::
    • inputs (list[Tensor]): 每个尺度的 [B, Ci, Hi, Wi],输入节点的最后 n_heads 个输出
  • 输出::
    • 训练:
      • features (list[Tensor]): 每个尺度的 [B, 4⋅regmax + nclasses, Hi, Wi],logits
    • 评估:
      • features (list[Tensor]): 每个尺度的 [B, 4⋅regmax + nclasses, Hi, Wi],logits
      • boundingbox (list[Tensor]): 每张图像的 [Mi, 6],[x1, y1, x2, y2, score, class],像素
      • detections_pre_nms (Tensor): [B, N, 5 + nclasses],仅在请求时提供
    • 导出:
      • boundingbox (list[Tensor]): 每个尺度的 [B, 5 + nclasses, Hi, Wi],DFL 解码
  • 变体:: 无。通过 params 配置节点。

方法

init
Python
1def __init__(n_heads: Literal[2, 3, 4] = 3, conf_thres: float = 0.25, iou_thres: float = 0.45, max_det: int = 300, reg_max: int = 16, **kwargs):
为每个尺度初始化一个解耦块。每个回归分支的隐藏宽度是 16、in_channels[0] // 4 和 4 * reg_max 中的最大值。每个类分支的隐藏宽度是 in_channels[0] 和 min(n_classes, 100) 中的较大值。in_channels[0] 属于第一个尺度。构造函数还将 grid_cell_offset 设置为 0.5,将 grid_cell_size 设置为 5.0。PrecisionDFLDetectionLoss 从节点读取这两个值。参数
  • n_heads (Literal[2, 3, 4]): 尺度数量。该头读取输入节点的最后 n_heads 个输出。attach_index 参数替换此选择。当该头获得的输出较少时,它会记录警告并使用该数量。当 attach_index 选择更多输出时,该头为每个输出构建一个块,但只保留 n_heads 个步幅。然后构建失败,因为 initialize_weights 引发 ValueError。
  • conf_thres (float): NMS 只保留最大类分数高于此值的框。该值必须在 [0, 1] 之间。否则,NMS 在评估模式下会引发 ValueError。
  • iou_thres (float): 当框与同类且分数更高的框的 IoU 高于此值时,NMS 会移除该框。该值必须在 [0, 1] 之间。否则,NMS 在评估模式下会引发 ValueError。
  • max_det (int): NMS 为每张图像保留的最大框数。
  • reg_max (int): 框的每一侧的距离 bin 数量。回归分支提供 4 * reg_max 个通道。当值大于 1 时,DFL 将 bin 转换为距离。当值为 1 时,该头直接使用回归输出作为距离。
  • **kwargs: BaseNode 的关键字参数。它们必须包含 original_in_shape、通过 input_shapes 或 in_sizes 输入的大小,以及通过 n_classes 或 dataset_metadata 的类计数。
forward
Python
1def forward(inputs: list[Tensor]) -> Packet[Tensor]:
运行每个尺度的块并构建模式的数据包。forward_heads 提供每个尺度的特征、类 logits 和距离 bin logits。训练模式优先于导出模式。数据包取决于模式:
  • 训练模式:"features" 包含每个尺度的距离 bin logits 和类 logits,形状为 [B, 4 * reg_max + n_classes, H_i, W_i]。
  • 导出模式:"boundingbox" 包含每个尺度的一个形状为 [B, 5 + n_classes, H_i, W_i] 的映射。其通道是步幅单位的距离 (l, t, r, b)、最大类分数和类分数。当 reg_max 大于 1 时,DFL 解码距离。分数是 sigmoid 概率。
  • 评估模式:"features" 与训练模式相同,以及 NMS 结果 "boundingbox"。该头将锚点周围的距离解码为像素中的框,并且不将其裁剪到图像。每张图像获得一个形状为 [M_i, 6] 的张量,行格式为 [x1, y1, x2, y2, score, class]。没有框的图像获得一个形状为 [0, 5 + n_classes] 的张量。调用 BaseDetectionHead.request_detections_pre_nms 后,数据包还包含 "detections_pre_nms"。这是形状为 [B, N, 5 + n_classes] 的 NMS 输入:像素中的 xyxy 框、一个常量 1 和类分数。N 是 H_i * W_i 的总和。
参数
  • inputs (list[Tensor]): 每个尺度的一个特征图,形状为 [B, C_i, H_i, W_i]。
返回
  • Packet[Tensor]: 当前模式的数据包。
forward_heads
Python
1def forward_heads(inputs: list[Tensor]) -> tuple[list[Tensor], list[Tensor], list[Tensor]]:
运行每个尺度的解耦块。该方法按顺序将块与 inputs 配对。它不应用 sigmoid,因此所有输出都是 logits。PrecisionSegmentBBoxHead 也调用此方法。参数
  • inputs (list[Tensor]): 每个尺度的一个特征图,形状为 [B, C_i, H_i, W_i]。列表必须为每个块包含一个映射。否则,zip 会引发 ValueError。
返回
  • tuple[list[Tensor], list[Tensor], list[Tensor]]: 三个列表,每个尺度一个张量,按 inputs 的顺序排列。
    • 特征,沿通道轴连接距离 bin logits 和类 logits,形状为 [B, 4 * reg_max + n_classes, H_i, W_i];
    • 类 logits,形状为 [B, n_classes, H_i, W_i];
    • 距离 bin logits,形状为 [B, 4 * reg_max, H_i, W_i]。
get_custom_head_config
Python
1def get_custom_head_config(self) -> Params:
返回 NN Archive 的 NMS 设置和步幅。子类会将自己的键添加到此字典中,例如 "subtype"。返回
  • Params: 一个字典,包含键 "iou_threshold"、"conf_threshold"、"max_det" 和 "strides"。它们分别包含 iou_thres、conf_thres、max_det 和 stride,其中 stride 是一个列表,每个尺度一个整数。
initialize_weights
Python
1def initialize_weights(method: str | None = None):
初始化每个尺度最后一层的偏差。该方法首先使用 method 调用 BaseNode.initialize_weights。然后,对于步幅为 s 的每个尺度,它设置两个分支的最后一个卷积的偏差。回归偏差的每个值变为 1。类偏差的每个值变为:b = log(5)/(nclasses(H ⁄ s)2)H 是 original_in_shape 中的高度。该方法不改变权重。因此,对于零输入,新头为每个类提供 sigmoid 分数 σ(b)。此分数接近 5 ⁄ (nclasses(H ⁄ s)2)。参数

属性

dfl
export_output_names
导出模型的 n_heads 个输出的名称。默认名称是 output1_yolov8、output2_yolov8 等。export_output_names 参数仅在它包含恰好 n_heads 个名称时才替换它们。每次它给出默认名称时,该头都会记录警告。该值从不为 None。
grid_cell_offset
grid_cell_size
heads
no
reg_max