# ddrnet_segmentation_head

Python API: `luxonis_train.nodes.heads.ddrnet_segmentation_head`

DDRNet 的分割头。

## 类

### DDRNetSegmentationHead

DDRNet 分割头。

 * `输入:`: * `inputs` (`Tensor`): [B, C, H ⁄ s, W ⁄ s]
 * `输出:`: * 训练、评估: * `segmentation` (`Tensor`): [B, nclasses, H, W] logits
    * 导出: * `segmentation` (`Tensor`): [B, H, W] `int32` 类索引，或当 `n_classes == 1` 时为 [B, 1, H, W]，值为 `0` 和 `1`

> **参考**
> * 来源: 改编自 [Deci-AI/super-gradients](https://github.com/Deci-AI/super-gradients) (Apache-2.0)。
 * 许可证: Apache-2.0

> **注意事项**
> H 和 W 是模型输入的高度和宽度。比例 s 是一个 2 的幂，头部根据输入大小和模型输入大小计算得出。[DDRNet](/software-v3/ai-inference/model-source/training/luxonis-train/luxonis-train-api-reference/nodes/backbones/ddrnet/ddrnet.md) 主干网络给出 s = 8。

头部应用批归一化和 ReLU，一个 3x3 卷积，批归一化和 ReLU，以及一个 1x1 卷积到 nclasses 通道。然后，一个上采样层将结果按 s 缩放。在导出模式下，头部将 logits 转换为类索引。

警告: 当 `inter_mode="pixel_shuffle"` 时，1x1 卷积保留 `inter_channels` 通道。输出通道数是 `inter_channels` 除以 s2，而不是 nclasses。

 * `变体:`: 无。通过 `params` 配置节点。

> **另请参阅**
> * [super-gradients 中的 DDRNet](https://github.com/Deci-AI/super-gradients/blob/master/src/super_gradients/training/models/segmentation_models/ddrnet.py)
 * [原始 DDRNet 代码](https://github.com/ydhongHIT/DDRNet)
 * [DDRNet 论文](https://arxiv.org/pdf/2101.06085.pdf)

> **示例**
> 配置中 `model.nodes` 部分的节点条目:

```yaml
- name: DDRNetSegmentationHead
  inputs: [DDRNet]
```

 * `兼容:`: * 附加索引: `-1`，输入节点的最后一个输出
    * 所需标签: `segmentation`
    * 使用者:
      [SegmentationModel](/software-v3/ai-inference/model-source/training/luxonis-train/luxonis-train-api-reference/config/predefined_models/segmentation/v1/model.md)
    * 损失: *
      [BCEWithLogitsLoss](/software-v3/ai-inference/model-source/training/luxonis-train/luxonis-train-api-reference/attached_modules/losses/bce_with_logits.md)
       * [CrossEntropyLoss](/software-v3/ai-inference/model-source/training/luxonis-train/luxonis-train-api-reference/attached_modules/losses/cross_entropy.md)
       * [OHEMLoss](/software-v3/ai-inference/model-source/training/luxonis-train/luxonis-train-api-reference/attached_modules/losses/ohem_loss.md)
       * [SigmoidFocalLoss](/software-v3/ai-inference/model-source/training/luxonis-train/luxonis-train-api-reference/attached_modules/losses/sigmoid_focal_loss.md)
       * [SmoothBCEWithLogitsLoss](/software-v3/ai-inference/model-source/training/luxonis-train/luxonis-train-api-reference/attached_modules/losses/smooth_bce_with_logits.md)
       * [SoftmaxFocalLoss](/software-v3/ai-inference/model-source/training/luxonis-train/luxonis-train-api-reference/attached_modules/losses/softmax_focal_loss.md)
    * 指标: *
      [Accuracy](/software-v3/ai-inference/model-source/training/luxonis-train/luxonis-train-api-reference/attached_modules/metrics/torchmetrics.md)
       * [ConfusionMatrix](/software-v3/ai-inference/model-source/training/luxonis-train/luxonis-train-api-reference/attached_modules/metrics/confusion_matrix/confusion_matrix.md)
       * [DiceCoefficient](/software-v3/ai-inference/model-source/training/luxonis-train/luxonis-train-api-reference/attached_modules/metrics/dice_coefficient.md)
       * [F1Score](/software-v3/ai-inference/model-source/training/luxonis-train/luxonis-train-api-reference/attached_modules/metrics/torchmetrics.md)
       * [JaccardIndex](/software-v3/ai-inference/model-source/training/luxonis-train/luxonis-train-api-reference/attached_modules/metrics/torchmetrics.md)
       * [MIoU](/software-v3/ai-inference/model-source/training/luxonis-train/luxonis-train-api-reference/attached_modules/metrics/mean_iou.md)
       * [Precision](/software-v3/ai-inference/model-source/training/luxonis-train/luxonis-train-api-reference/attached_modules/metrics/torchmetrics.md)
       * [Recall](/software-v3/ai-inference/model-source/training/luxonis-train/luxonis-train-api-reference/attached_modules/metrics/torchmetrics.md)
    * 可视化工具:
      [SegmentationVisualizer](/software-v3/ai-inference/model-source/training/luxonis-train/luxonis-train-api-reference/attached_modules/visualizers/segmentation_visualizer.md)
    * 导出解析器: `SegmentationParser`
    * 预训练权重: 可通过 `weights: download` 获取

#### 方法

##### init

```python
def __init__(inter_channels: int = 64, inter_mode: Literal['nearest', 'linear', 'bilinear', 'bicubic', 'trilinear', 'area', 'pixel_shuffle'] = 'bilinear', **kwargs):
```

构建头部的层和上采样。

构造函数计算比例 s =
2n。[infer_upscale_factor](/software-v3/ai-inference/model-source/training/luxonis-train/luxonis-train-api-reference/utils/general.md)
根据输入大小和模型输入大小给出 n。当高度比或宽度比不是 2 的幂，或当两个比率不同时，该函数会引发 `ValueError`。

参数

 * `inter_channels` (`int`): 3x3 卷积的输出通道数。对于 `"pixel_shuffle"`，它必须是 s2 的倍数。
 * `inter_mode` (`Literal['nearest', 'linear', 'bilinear', 'bicubic', 'trilinear', 'area', 'pixel_shuffle']`):
   上采样方法。`"pixel_shuffle"` 使用 `torch.nn.PixelShuffle`。其他值是 `torch.nn.Upsample` 的 `mode`。对于 `"linear"` 或
   `"trilinear"`，[forward](/software-v3/ai-inference/model-source/training/luxonis-train/luxonis-train-api-reference/nodes/heads/ddrnet_segmentation_head.md)
   会引发 `NotImplementedError`，因为这些模式需要 3D 或 5D 输入。
 * `**kwargs`:
   [BaseNode](/software-v3/ai-inference/model-source/training/luxonis-train/luxonis-train-api-reference/nodes/base_node.md)
   的关键字参数。它们必须包含 `original_in_shape`、`input_shapes` 或 `in_sizes`，以及通过 `n_classes` 或 `dataset_metadata` 给出的类计数。

引发

 * `ValueError`: 当 `inter_mode` 为 `"pixel_shuffle"` 且 `inter_channels` 不是 s2 的倍数时。

##### forward

```python
def forward(inputs: Tensor) -> Tensor:
```

计算 logits，或在导出模式下计算类索引。

> **示例**
> ```pycon
>>> import torch
>>> from torch import Size
>>> from luxonis_train.nodes import DDRNetSegmentationHead
>>> head = DDRNetSegmentationHead(
...     n_classes=3,
...     input_shapes=[{"features": [Size([1, 8, 4, 4])]}],
...     original_in_shape=Size([3, 32, 32]),
... )
>>> head.eval()(torch.zeros(1, 8, 4, 4)).shape
torch.Size([1, 3, 32, 32])
>>> head.export = True
>>> out = head(torch.zeros(1, 8, 4, 4))
>>> out.shape, out.dtype
(torch.Size([1, 32, 32]), torch.int32)
```

参数

 * `inputs` (`Tensor`): 形状为 `[B, C, H / s, W / s]` 的特征图。

返回

 * `Tensor`: 在非导出模式下，形状为 `[B, n_classes, H, W]` 的 logits。在导出模式下，一个 `int32` 张量。它包含每个像素具有最高 logit 的类索引，形状为 `[B, H, W]`。当 `n_classes == 1` 时，它包含 logit 大于 `0` 的位置的 `1`，形状为 `[B, 1, H, W]`。[BaseNode.run](/software-v3/ai-inference/model-source/training/luxonis-train/luxonis-train-api-reference/nodes/base_node.md) 将结果放在 `"segmentation"` 键下。

##### get_custom_head_config

```python
def get_custom_head_config(self) -> Params:
```

返回 NN Archive 的头部特定元数据。

子类重写该方法以向其解析器提供更多值。[get_head_config](/software-v3/ai-inference/model-source/training/luxonis-train/luxonis-train-api-reference/nodes/heads/base_head.md) 将结果合并到 `"metadata"` 字典中。基本实现返回一个空字典。

返回

 * `Params`: 附加的元数据键及其值。

##### get_weights_url

```python
def get_weights_url(self) -> str:
```

根据输入通道数选择 COCO 检查点。

128 通道的 `23-slim` 主干网络使用 slim 检查点；256 通道的 `23` 主干网络使用完整检查点。

引发

 * `NotImplementedError`: 如果输入既不是 128 也不是 256 通道。

##### load_checkpoint

```python
def load_checkpoint(path: str | None = None, strict: bool = False):
```

加载检查点，默认情况下非严格键匹配。

该方法将 `path` 作为 `ckpt` 传递给 [BaseNode.load_checkpoint](/software-v3/ai-inference/model-source/training/luxonis-train/luxonis-train-api-reference/nodes/base_node.md)。重写将第一个参数重命名并将 `strict` 的默认值设置为 `False`。

警告: 重写没有 `ckpt` 参数。构造后，节点会为 `weights` URL 调用 `load_checkpoint(ckpt=...)`。因此，诸如 `DDRNetSegmentationHead(weights="https://...")` 之类的调用会引发 `TypeError`。对于 `weights="download"`，节点在没有参数的情况下调用该方法，因此该值不会以这种方式失败。

参数

 * `path` (`str | None`): `.ckpt` 文件的本地路径或 URL。[LuxonisLightningModule](/software-v3/ai-inference/model-source/training/luxonis-train/luxonis-train-api-reference/lightning/luxonis_lightning.md) 也提供状态字典，基本方法直接加载它。`None` 或 `""` 从 [get_weights_url](/software-v3/ai-inference/model-source/training/luxonis-train/luxonis-train-api-reference/nodes/heads/ddrnet_segmentation_head.md) 获取 URL。
 * `strict` (`bool`): 检查点的键是否必须与头部的键完全匹配。

#### 属性

##### bn1

##### bn2

##### conv1

##### conv2

##### in_channels

附加输入的通道数。

它是 [in_sizes](/software-v3/ai-inference/model-source/training/luxonis-train/luxonis-train-api-reference/nodes/base_node.md) 从末尾开始的第三个维度，因此带或不带批次维度的形状给出相同的值。大小列表给出通道数列表。

引发

 * `RuntimeError`: 当 [in_sizes](/software-v3/ai-inference/model-source/training/luxonis-train/luxonis-train-api-reference/nodes/base_node.md) 无法找到输入大小时。
 * `ValueError`: 当 [attach_index](/software-v3/ai-inference/model-source/training/luxonis-train/luxonis-train-api-reference/nodes/base_node.md) 不适合大小时。

##### in_height

附加输入的高度。

它是 [in_sizes](/software-v3/ai-inference/model-source/training/luxonis-train/luxonis-train-api-reference/nodes/base_node.md) 从末尾开始的第二个维度。大小列表给出高度列表。

引发

 * `RuntimeError`: 当 [in_sizes](/software-v3/ai-inference/model-source/training/luxonis-train/luxonis-train-api-reference/nodes/base_node.md) 无法找到输入大小时。
 * `ValueError`: 当 [attach_index](/software-v3/ai-inference/model-source/training/luxonis-train/luxonis-train-api-reference/nodes/base_node.md) 不适合大小时。

##### in_width

附加输入的宽度。

它是 [in_sizes](/software-v3/ai-inference/model-source/training/luxonis-train/luxonis-train-api-reference/nodes/base_node.md) 的最后一个维度。大小列表给出宽度列表。

引发

 * `RuntimeError`: 当 [in_sizes](/software-v3/ai-inference/model-source/training/luxonis-train/luxonis-train-api-reference/nodes/base_node.md) 无法找到输入大小时。
 * `ValueError`: 当 [attach_index](/software-v3/ai-inference/model-source/training/luxonis-train/luxonis-train-api-reference/nodes/base_node.md) 不适合大小时。

##### parser

##### relu

##### upscale
