# model

Python API: `luxonis_train.config.predefined_models.segmentation.v1.model`

语义分割模型。

## 类

### SegmentationModel

语义分割，它为每个像素预测一个类别。

 * `吞吐量:`: 384x512 时的每秒帧数。 * `light`: RVC2 上 43，RVC4 上 75
    * `heavy`: RVC2 上 14，RVC4 上 48

> **注意**
> [JaccardIndex](/software-v3/ai-inference/model-source/training/luxonis-train/luxonis-train-api-reference/attached_modules/metrics/torchmetrics.md) 和 [F1Score](/software-v3/ai-inference/model-source/training/luxonis-train/luxonis-train-api-reference/attached_modules/metrics/torchmetrics.md) 封装了 `torchmetrics` 并从 `metrics_params` 读取 `task` 键。对于一个类别，将其设置为 `"binary"`，否则设置为 `"multiclass"`。如果没有 `task`，度量标准对于一个类别采用 `"binary"`，否则采用 `"multiclass"`，并记录警告。

默认情况下，模型将辅助头连接到骨干网络的早期输出。辅助头的损失以 `0.4` 的权重添加到总损失中。导出时会移除辅助头。

> **示例**
> 配置的 `model` 部分：

```yaml
model:
  predefined_model:
    name: SegmentationModel
    params:
      variant: light
```

 * `组件:`: * 节点:
   [DDRNet](/software-v3/ai-inference/model-source/training/luxonis-train/luxonis-train-api-reference/nodes/backbones/ddrnet/ddrnet.md)
   ->
   [DDRNetSegmentationHead](/software-v3/ai-inference/model-source/training/luxonis-train/luxonis-train-api-reference/nodes/heads/ddrnet_segmentation_head.md)
   ->
   [DDRNetSegmentationHead](/software-v3/ai-inference/model-source/training/luxonis-train/luxonis-train-api-reference/nodes/heads/ddrnet_segmentation_head.md)
    * 损失:
      [OHEMLoss](/software-v3/ai-inference/model-source/training/luxonis-train/luxonis-train-api-reference/attached_modules/losses/ohem_loss.md)
    * 指标: *
      [ConfusionMatrix](/software-v3/ai-inference/model-source/training/luxonis-train/luxonis-train-api-reference/attached_modules/metrics/confusion_matrix/confusion_matrix.md)
       * [F1Score](/software-v3/ai-inference/model-source/training/luxonis-train/luxonis-train-api-reference/attached_modules/metrics/torchmetrics.md)
       * [JaccardIndex](/software-v3/ai-inference/model-source/training/luxonis-train/luxonis-train-api-reference/attached_modules/metrics/torchmetrics.md)
    * 可视化器:
      [SegmentationVisualizer](/software-v3/ai-inference/model-source/training/luxonis-train/luxonis-train-api-reference/attached_modules/visualizers/segmentation_visualizer.md)
    * 主要指标:
      [JaccardIndex](/software-v3/ai-inference/model-source/training/luxonis-train/luxonis-train-api-reference/attached_modules/metrics/torchmetrics.md)
    * 变体: * `light`
       * `heavy`

#### 方法

##### init

```python
def __init__(use_aux_head: bool = True, aux_head_params: Params | None = None, **kwargs):
```

使用其默认组件初始化模型。

构造函数将 `attach_index` 设置为 `-1` 在 `head_params` 中，除非 `head_params` 包含 `aux_head` 键。此值替换 `head_params` 设置的 `attach_index`。

参数

 * `use_aux_head` (`bool`): 将辅助头添加到节点图中。请参阅
   [nodes](/software-v3/ai-inference/model-source/training/luxonis-train/luxonis-train-api-reference/config/predefined_models/segmentation/v1/model.md)。
 * `aux_head_params` (`Params | None`): 辅助头的构造函数参数。构造函数会就地编辑给定的非空字典： * 当字典不包含该键时，它将 `attach_index` 设置为 `-2`。然后辅助头读取骨干网络的倒数第二个输出。对于
   [DDRNet](/software-v3/ai-inference/model-source/training/luxonis-train/luxonis-train-api-reference/nodes/backbones/ddrnet/ddrnet.md)
   及其默认的 `use_aux_heads`，该输出包含高分辨率特征。
    * 它移除 `use_aux_heads` 键，并将其值用作辅助头的 `remove_on_export`。如果没有该键，则值为 `True`。
 * `**kwargs`:
   [SimplePredefinedModel.init](/software-v3/ai-inference/model-source/training/luxonis-train/luxonis-train-api-reference/config/predefined_models/base_predefined_model.md)
   的关键字参数。

引发

 * `TypeError`: 当 `aux_head_params` 中的 `use_aux_heads` 值不是布尔值时。

##### get_variants

```python
def get_variants() -> tuple[str, dict[str, Params]]:
```

获取默认变体名称和可用变体。

默认值为 `light`。两个变体都将 `backbone` 设置为 `"DDRNet"`，将 `head` 设置为 `"DDRNetSegmentationHead"`。`light` 变体使用
[DDRNet](/software-v3/ai-inference/model-source/training/luxonis-train/luxonis-train-api-reference/nodes/backbones/ddrnet/ddrnet.md)
的 `"23-slim"` 变体，而 `heavy` 使用 `"23"`。

两个变体都将 `backbone_params` 和 `head_params` 中的 `weights` 设置为 `"download"`，因此骨干网络和头加载其 COCO 检查点。配置中给定的 `backbone_params` 或
`head_params` 替换了变体的整个字典。辅助头不加载检查点。

> **示例**
> ```pycon
>>> default, variants = SegmentationModel.get_variants()
>>> default, variants["heavy"]["backbone_variant"]
('light', '23')
>>> variants["heavy"]["backbone_params"]
{'weights': 'download'}
```

返回

 * `tuple[str, dict[str, Params]]`: `"light"` 和两个变体及其构造函数参数。

#### 属性

##### nodes

骨干网络、头和辅助头，作为配置。

第一个配置来自 [SimplePredefinedModel.nodes](/software-v3/ai-inference/model-source/training/luxonis-train/luxonis-train-api-reference/config/predefined_models/base_predefined_model.md)。当 `use_aux_head` 为 `True` 时，该属性会附加一个带有以下字段的 `head` 类的第二个配置：

 * `alias`: 带有后缀 `_aux` 的类名；
 * `inputs`: 骨干网络；
 * `params`: `aux_head_params`；
 * `task_name`: 模型的 `task_name`；
 * `remove_on_export`: `aux_head_params` 的 `use_aux_heads` 值，默认为 `True`；
 * `losses`: 模型的 `loss`，权重为 `0.4`，没有 `loss_params`。

辅助头没有指标、没有可视化器，也没有冻结。它的 `variant` 保持 [NodeConfig](/software-v3/ai-inference/model-source/training/luxonis-train/luxonis-train-api-reference/config/config.md) 默认的 `"default"`。[DDRNetSegmentationHead](/software-v3/ai-inference/model-source/training/luxonis-train/luxonis-train-api-reference/nodes/heads/ddrnet_segmentation_head.md) 没有声明变体，因此节点的构建会记录警告并且不使用变体参数。

> **示例**
> ```pycon
>>> from luxonis_train.config.predefined_models import (
...     SegmentationModel,
... )
>>> model = SegmentationModel(variant="light")
>>> [(node.identifier, node.inputs) for node in model.nodes]
[('DDRNet', []),
 ('DDRNetSegmentationHead', ['DDRNet']),
 ('DDRNetSegmentationHead_aux', ['DDRNet'])]
>>> aux_head = model.nodes[-1]
>>> aux_head.params, aux_head.remove_on_export
({'attach_index': -2}, True)
>>> [(loss.name, loss.weight) for loss in aux_head.losses]
[('OHEMLoss', 0.4)]
```
