fomo_head
最后更新
luxonis_train.nodes.heads.fomo_headFOMO 头,它预测对象中心的热图而不是边界框。类
FOMOHead
输入::inputs(Tensor): [B, C, Hf, Wf]
输出::- 训练:
heatmap(Tensor): [B, nclasses, Hf, Wf] logits
- 评估:
heatmap(Tensor): [B, nclasses, Hf, Wf] logitskeypoints(list[Tensor]): [Ki, 1, 4] 每张图像,(x, y, prob, class),像素
- 导出:
outputs(list[Tensor]): [B, nclasses, Hf, Wf],当use_nms时进行最大池化
- 训练:
参考
- 来源: 本项目。
- 许可证: Apache-2.0 (本项目)
注意
该头运行一系列
1x1 卷积,因此每个热图单元格只看到自己的特征向量。在评估模式下,该头将概率高于 0.5 的单元格保留为关键点。当 use_nms 为 True 时,该头还会应用 3x3 最大池化。在评估模式下,只有局部最大值成为关键点。在导出模式下,池化后的热图会替换热图。变体:: 无。通过params配置节点。
示例
配置中
model.nodes 部分的节点条目:Yaml
1- name: FOMOHead
2 inputs: [EfficientRep]兼容::- 附加索引:
1,输入节点的输出 1 - 所需标签:
boundingbox - 使用者: FOMOModel
- 损失: FOMOLocalizationLoss
- 指标:
- 可视化工具:
- 附加索引:
方法
init
Python
1def __init__(n_conv_layers: int = 3, conv_channels: int = 16, use_nms: bool = True, **kwargs):1x1 卷积堆栈。该堆栈有 n_conv_layers - 1 个隐藏的 ConvBlock 层,具有 conv_channels 输出通道、偏置、ReLU,并且没有批归一化。第一个隐藏层读取 in_channels 通道。最后一个 1x1 卷积将 conv_channels 通道映射到 n_classes 通道。这最后一层始终期望 conv_channels 输入通道。因此,低于 2 的 n_conv_layers 仅在输入具有 conv_channels 通道时才有效。参数n_conv_layers(int): 卷积层数,包括最后一层。默认为3。conv_channels(int): 隐藏层的通道数。默认为16。use_nms(bool): 是否应用步长为1的3x3最大池化。在评估模式下,只有热图的局部最大值成为关键点。在导出模式下,池化后的热图会替换热图。默认为True。**kwargs: BaseNode 的关键字参数,例如n_classes和input_shapes。
forward
Python
1def forward(inputs: Tensor) -> Packet[Tensor]:- 训练模式:
"heatmap"包含 logits,形状为[B, n_classes, H, W]。 - 导出模式:
"outputs"包含一个张量列表,即形状为[B, n_classes, H, W]的热图 logits。当use_nms为True时,步长为1的3x3最大池化首先将每个单元格替换为其邻域的最大值。 - 评估模式:
"heatmap"和"keypoints",每个图像都有一个形状为[K_i, 1, 4]的张量。该头应用 sigmoid 并保留概率高于0.5的单元格。当use_nms为True时,单元格还必须等于其3x3邻域的最大值。每个K_i关键点包含[x, y, probability, class]。x和y是单元格的左上角,以原始输入的像素为单位。
示例
Pycon
1>>> import torch
2>>> from torch import Size
3>>> from luxonis_train.nodes import FOMOHead
4>>> sizes = [Size([1, 8, 64, 64]), Size([1, 16, 32, 32])]
5>>> head = FOMOHead(
6... n_classes=2,
7... input_shapes=[{"features": sizes}],
8... original_in_shape=Size([3, 128, 128]),
9... )
10>>> head.in_channels
1116
12>>> head(torch.zeros(1, 16, 32, 32))["heatmap"].shape
13torch.Size([1, 2, 32, 32])Pycon
1>>> out = head.eval()(torch.zeros(1, 16, 32, 32))
2>>> sorted(out)
3['heatmap', 'keypoints']
4>>> len(out["keypoints"]), out["keypoints"][0].shape[1:]
5(1, torch.Size([1, 4]))inputs(Tensor): 形状为[B, C, H, W]的特征图。默认情况下,它是输入节点的输出1。
Packet[Tensor]: 当前模式的包。
属性
attach_index
conv_layers
in_channels
RuntimeError: 当 in_sizes 找不到输入大小时。ValueError: 当 attach_index 不适合大小时。
n_keypoints
1。该头为每个对象预测一个点。它忽略 n_keypoints 参数和数据集元数据。