model
最后更新
luxonis_train.config.predefined_models.segmentation.v1.model语义分割模型。类
SegmentationModel
吞吐量:: 384x512 时的每秒帧数。light: RVC2 上 43,RVC4 上 75heavy: RVC2 上 14,RVC4 上 48
注意
JaccardIndex 和 F1Score 封装了
torchmetrics 并从 metrics_params 读取 task 键。对于一个类别,将其设置为 "binary",否则设置为 "multiclass"。如果没有 task,度量标准对于一个类别采用 "binary",否则采用 "multiclass",并记录警告。默认情况下,模型将辅助头连接到骨干网络的早期输出。辅助头的损失以 0.4 的权重添加到总损失中。导出时会移除辅助头。示例
配置的
model 部分:Yaml
1model:
2 predefined_model:
3 name: SegmentationModel
4 params:
5 variant: light组件::- 节点: DDRNet -> DDRNetSegmentationHead -> DDRNetSegmentationHead
- 损失: OHEMLoss
- 指标:
- 可视化器: SegmentationVisualizer
- 主要指标: JaccardIndex
- 变体:
lightheavy
方法
init
Python
1def __init__(use_aux_head: bool = True, aux_head_params: Params | None = None, **kwargs):attach_index 设置为 -1 在 head_params 中,除非 head_params 包含 aux_head 键。此值替换 head_params 设置的 attach_index。参数use_aux_head(bool): 将辅助头添加到节点图中。请参阅 nodes。aux_head_params(Params | None): 辅助头的构造函数参数。构造函数会就地编辑给定的非空字典:- 当字典不包含该键时,它将
attach_index设置为-2。然后辅助头读取骨干网络的倒数第二个输出。对于 DDRNet 及其默认的use_aux_heads,该输出包含高分辨率特征。 - 它移除
use_aux_heads键,并将其值用作辅助头的remove_on_export。如果没有该键,则值为True。
- 当字典不包含该键时,它将
**kwargs: SimplePredefinedModel.init 的关键字参数。
TypeError: 当aux_head_params中的use_aux_heads值不是布尔值时。
get_variants
Python
1def get_variants() -> tuple[str, dict[str, Params]]:light。两个变体都将 backbone 设置为 "DDRNet",将 head 设置为 "DDRNetSegmentationHead"。light 变体使用 DDRNet 的 "23-slim" 变体,而 heavy 使用 "23"。两个变体都将 backbone_params 和 head_params 中的 weights 设置为 "download",因此骨干网络和头加载其 COCO 检查点。配置中给定的 backbone_params 或 head_params 替换了变体的整个字典。辅助头不加载检查点。示例
Pycon
1>>> default, variants = SegmentationModel.get_variants()
2>>> default, variants["heavy"]["backbone_variant"]
3('light', '23')
4>>> variants["heavy"]["backbone_params"]
5{'weights': 'download'}tuple[str, dict[str, Params]]:"light"和两个变体及其构造函数参数。
属性
nodes
use_aux_head 为 True 时,该属性会附加一个带有以下字段的 head 类的第二个配置:alias: 带有后缀_aux的类名;inputs: 骨干网络;params:aux_head_params;task_name: 模型的task_name;remove_on_export:aux_head_params的use_aux_heads值,默认为True;losses: 模型的loss,权重为0.4,没有loss_params。
variant 保持 NodeConfig 默认的 "default"。DDRNetSegmentationHead 没有声明变体,因此节点的构建会记录警告并且不使用变体参数。示例
Pycon
1>>> from luxonis_train.config.predefined_models import (
2... SegmentationModel,
3... )
4>>> model = SegmentationModel(variant="light")
5>>> [(node.identifier, node.inputs) for node in model.nodes]
6[('DDRNet', []),
7 ('DDRNetSegmentationHead', ['DDRNet']),
8 ('DDRNetSegmentationHead_aux', ['DDRNet'])]
9>>> aux_head = model.nodes[-1]
10>>> aux_head.params, aux_head.remove_on_export
11({'attach_index': -2}, True)
12>>> [(loss.name, loss.weight) for loss in aux_head.losses]
13[('OHEMLoss', 0.4)]