# fomo_head

Python API: `luxonis_train.nodes.heads.fomo_head`

FOMO 头，它预测对象中心的热图而不是边界框。

## 类

### FOMOHead

FOMO 热图检测头。

 * `输入:`: * `inputs` (`Tensor`): [B, C, Hf, Wf]
 * `输出:`: * 训练: * `heatmap` (`Tensor`): [B, nclasses, Hf, Wf] logits
    * 评估: * `heatmap` (`Tensor`): [B, nclasses, Hf, Wf] logits
       * `keypoints` (`list[Tensor]`): [Ki, 1, 4] 每张图像，`(x, y, prob, class)`，像素
    * 导出: * `outputs` (`list[Tensor]`): [B, nclasses, Hf, Wf]，当 `use_nms` 时进行最大池化

> **参考**
> * 来源: 本项目。
 * 许可证: Apache-2.0 (本项目)

> **注意**
> 该头运行一系列 `1x1` 卷积，因此每个热图单元格只看到自己的特征向量。在评估模式下，该头将概率高于 `0.5` 的单元格保留为关键点。当 `use_nms` 为 `True` 时，该头还会应用 `3x3` 最大池化。在评估模式下，只有局部最大值成为关键点。在导出模式下，池化后的热图会替换热图。

 * `变体:`: 无。通过 `params` 配置节点。

> **示例**
> 配置中 `model.nodes` 部分的节点条目:

```yaml
- name: FOMOHead
  inputs: [EfficientRep]
```

 * `兼容:`: * 附加索引: `1`，输入节点的输出 1
    * 所需标签: `boundingbox`
    * 使用者:
      [FOMOModel](/software-v3/ai-inference/model-source/training/luxonis-train/luxonis-train-api-reference/config/predefined_models/fomo/v1/model.md)
    * 损失:
      [FOMOLocalizationLoss](/software-v3/ai-inference/model-source/training/luxonis-train/luxonis-train-api-reference/attached_modules/losses/fomo_localization_loss.md)
    * 指标: *
      [ConfusionMatrix](/software-v3/ai-inference/model-source/training/luxonis-train/luxonis-train-api-reference/attached_modules/metrics/confusion_matrix/confusion_matrix.md)
       * [ObjectKeypointSimilarity](/software-v3/ai-inference/model-source/training/luxonis-train/luxonis-train-api-reference/attached_modules/metrics/object_keypoint_similarity.md)
    * 可视化工具: *
      [FOMOVisualizer](/software-v3/ai-inference/model-source/training/luxonis-train/luxonis-train-api-reference/attached_modules/visualizers/fomo_visualizer.md)
       * [KeypointVisualizer](/software-v3/ai-inference/model-source/training/luxonis-train/luxonis-train-api-reference/attached_modules/visualizers/keypoint_visualizer.md)

#### 方法

##### init

```python
def __init__(n_conv_layers: int = 3, conv_channels: int = 16, use_nms: bool = True, **kwargs):
```

初始化 `1x1` 卷积堆栈。

该堆栈有 `n_conv_layers - 1` 个隐藏的
[ConvBlock](/software-v3/ai-inference/model-source/training/luxonis-train/luxonis-train-api-reference/nodes/blocks/blocks.md)
层，具有 `conv_channels` 输出通道、偏置、ReLU，并且没有批归一化。第一个隐藏层读取 `in_channels` 通道。最后一个 `1x1` 卷积将 `conv_channels` 通道映射到 `n_classes` 通道。这最后一层始终期望
`conv_channels` 输入通道。因此，低于 `2` 的 `n_conv_layers` 仅在输入具有 `conv_channels` 通道时才有效。

参数

 * `n_conv_layers` (`int`): 卷积层数，包括最后一层。默认为 `3`。
 * `conv_channels` (`int`): 隐藏层的通道数。默认为 `16`。
 * `use_nms` (`bool`): 是否应用步长为 `1` 的 `3x3` 最大池化。在评估模式下，只有热图的局部最大值成为关键点。在导出模式下，池化后的热图会替换热图。默认为 `True`。
 * `**kwargs`:
   [BaseNode](/software-v3/ai-inference/model-source/training/luxonis-train/luxonis-train-api-reference/nodes/base_node.md)
   的关键字参数，例如 `n_classes` 和 `input_shapes`。

##### forward

```python
def forward(inputs: Tensor) -> Packet[Tensor]:
```

预测类别热图并构建模式包。

训练模式优先于导出模式。包取决于模式:

 * 训练模式: `"heatmap"` 包含 logits，形状为 `[B, n_classes, H, W]`。
 * 导出模式: `"outputs"` 包含一个张量列表，即形状为 `[B, n_classes, H, W]` 的热图 logits。当 `use_nms` 为 `True` 时，步长为 `1` 的 `3x3`
   最大池化首先将每个单元格替换为其邻域的最大值。
 * 评估模式: `"heatmap"` 和 `"keypoints"`，每个图像都有一个形状为 `[K_i, 1, 4]` 的张量。该头应用 sigmoid 并保留概率高于 `0.5` 的单元格。当 `use_nms` 为 `True`
   时，单元格还必须等于其 `3x3` 邻域的最大值。每个 `K_i` 关键点包含 `[x, y, probability, class]`。`x` 和 `y` 是单元格的左上角，以原始输入的像素为单位。

> **示例**
> ```pycon
>>> import torch
>>> from torch import Size
>>> from luxonis_train.nodes import FOMOHead
>>> sizes = [Size([1, 8, 64, 64]), Size([1, 16, 32, 32])]
>>> head = FOMOHead(
...     n_classes=2,
...     input_shapes=[{"features": sizes}],
...     original_in_shape=Size([3, 128, 128]),
... )
>>> head.in_channels
16
>>> head(torch.zeros(1, 16, 32, 32))["heatmap"].shape
torch.Size([1, 2, 32, 32])
```

在评估模式下，包还包含每个图像的一个关键点张量:

```pycon
>>> out = head.eval()(torch.zeros(1, 16, 32, 32))
>>> sorted(out)
['heatmap', 'keypoints']
>>> len(out["keypoints"]), out["keypoints"][0].shape[1:]
(1, torch.Size([1, 4]))
```

参数

 * `inputs` (`Tensor`): 形状为 `[B, C, H, W]` 的特征图。默认情况下，它是输入节点的输出 `1`。

返回

 * `Packet[Tensor]`: 当前模式的包。

#### 属性

##### attach_index

##### conv_layers

##### in_channels

附加输入的通道数。

它是 [in_sizes](/software-v3/ai-inference/model-source/training/luxonis-train/luxonis-train-api-reference/nodes/base_node.md) 从末尾开始的第三个维度，因此带或不带批处理维度的形状给出相同的值。大小列表给出通道计数的列表。

引发

 * `RuntimeError`: 当 [in_sizes](/software-v3/ai-inference/model-source/training/luxonis-train/luxonis-train-api-reference/nodes/base_node.md) 找不到输入大小时。
 * `ValueError`: 当 [attach_index](/software-v3/ai-inference/model-source/training/luxonis-train/luxonis-train-api-reference/nodes/base_node.md) 不适合大小时。

##### n_keypoints

每个对象的关键点数量，始终为 `1`。

该头为每个对象预测一个点。它忽略 `n_keypoints` 参数和数据集元数据。
