此页面由 AI 自动翻译。查看英文原版
最后更新

本页目录

  • 类
  • FOMOHead
Claude CodeCodexCursor
Luxonis 智能体工具包为你常用的编程智能体加载 Luxonis 上下文与技能,更快地基于 OAK 开发应用。
安装工具包
最后更新
Python API: luxonis_train.nodes.heads.fomo_headFOMO 头,它预测对象中心的热图而不是边界框。

类

FOMOHead

FOMO 热图检测头。
  • 输入::
    • inputs (Tensor): [B, C, Hf, Wf]
  • 输出::
    • 训练:
      • heatmap (Tensor): [B, nclasses, Hf, Wf] logits
    • 评估:
      • heatmap (Tensor): [B, nclasses, Hf, Wf] logits
      • keypoints (list[Tensor]): [Ki, 1, 4] 每张图像,(x, y, prob, class),像素
    • 导出:
      • outputs (list[Tensor]): [B, nclasses, Hf, Wf],当 use_nms 时进行最大池化
  • 变体:: 无。通过 params 配置节点。

方法

init
Python
1def __init__(n_conv_layers: int = 3, conv_channels: int = 16, use_nms: bool = True, **kwargs):
初始化 1x1 卷积堆栈。该堆栈有 n_conv_layers - 1 个隐藏的 ConvBlock 层,具有 conv_channels 输出通道、偏置、ReLU,并且没有批归一化。第一个隐藏层读取 in_channels 通道。最后一个 1x1 卷积将 conv_channels 通道映射到 n_classes 通道。这最后一层始终期望 conv_channels 输入通道。因此,低于 2 的 n_conv_layers 仅在输入具有 conv_channels 通道时才有效。参数
  • n_conv_layers (int): 卷积层数,包括最后一层。默认为 3。
  • conv_channels (int): 隐藏层的通道数。默认为 16。
  • use_nms (bool): 是否应用步长为 1 的 3x3 最大池化。在评估模式下,只有热图的局部最大值成为关键点。在导出模式下,池化后的热图会替换热图。默认为 True。
  • **kwargs: BaseNode 的关键字参数,例如 n_classes 和 input_shapes。
forward
Python
1def forward(inputs: Tensor) -> Packet[Tensor]:
预测类别热图并构建模式包。训练模式优先于导出模式。包取决于模式:
  • 训练模式: "heatmap" 包含 logits,形状为 [B, n_classes, H, W]。
  • 导出模式: "outputs" 包含一个张量列表,即形状为 [B, n_classes, H, W] 的热图 logits。当 use_nms 为 True 时,步长为 1 的 3x3 最大池化首先将每个单元格替换为其邻域的最大值。
  • 评估模式: "heatmap" 和 "keypoints",每个图像都有一个形状为 [K_i, 1, 4] 的张量。该头应用 sigmoid 并保留概率高于 0.5 的单元格。当 use_nms 为 True 时,单元格还必须等于其 3x3 邻域的最大值。每个 K_i 关键点包含 [x, y, probability, class]。x 和 y 是单元格的左上角,以原始输入的像素为单位。
参数
  • inputs (Tensor): 形状为 [B, C, H, W] 的特征图。默认情况下,它是输入节点的输出 1。
返回
  • Packet[Tensor]: 当前模式的包。

属性

attach_index
conv_layers
in_channels
附加输入的通道数。它是 in_sizes 从末尾开始的第三个维度,因此带或不带批处理维度的形状给出相同的值。大小列表给出通道计数的列表。引发
  • RuntimeError: 当 in_sizes 找不到输入大小时。
  • ValueError: 当 attach_index 不适合大小时。
n_keypoints
每个对象的关键点数量,始终为 1。该头为每个对象预测一个点。它忽略 n_keypoints 参数和数据集元数据。