此页面由 AI 自动翻译。查看英文原版
最后更新

本页目录

  • 类
  • TransformerSegmentationHead
Claude CodeCodexCursor
Luxonis 智能体工具包为你常用的编程智能体加载 Luxonis 上下文与技能,更快地基于 OAK 开发应用。
安装工具包

transformer_segmentation_head

最后更新
Python API: luxonis_train.nodes.heads.transformer_segmentation_headTransformer 主干网络补丁 token 上的分割头。

类

TransformerSegmentationHead

用于 Transformer 特征图的语义分割头。DINOv3 论文 的 6.3.2 节在主干网络上放置了一个没有注入的 ViT-Adapter 和一个 Mask2Former 解码器。此头将 Mask2Former 替换为一个小型卷积解码器。DinoV3 在其 return_sequence 参数为 False 时,提供 depth 个分辨率相同的特征图。
  • 输入::
    • inputs (list[Tensor]): 每个图 [B, Ci, hi, wi],任意分辨率
  • 输出::
    • segmentation (Tensor): [B, nclasses, H, W] logits
  • 变体:: 无。通过 params 配置节点。

方法

init
Python
1def __init__(**kwargs: Any):
构建解码器和每个特征图的一个投影。构造函数从其大小的索引 1 读取每个图的通道数。因此,每个大小必须具有 [B, C_i, h_i, w_i] 的形式。该类将 BaseNode.in_sizes 注释为列表。整数 attach_index 选择一个输出,因此 BaseNode.in_sizes 是一个单一大小。因此,这样的 attach_index 会使构造函数引发 IncompatibleError。参数
  • **kwargs (Any): BaseNode 的关键字参数。它们必须通过 input_shapes 或 in_sizes 包含输入大小,并通过 n_classes 或 dataset_metadata 包含类别计数。forward 还需要 original_in_shape。
forward
Python
1def forward(x: list[Tensor]) -> Tensor:
将特征图解码为分割 logits。H 和 W 是 original_in_shape 中的图像大小。该方法执行以下步骤:
  • 将每个特征图投影到 256 个通道。
  • 将每个投影图的大小调整为 [H // 4, W // 4]。
  • 对调整大小后的图进行平均。
  • 应用解码器,生成 n_classes 个通道。
  • 将 logits 的大小调整为 [H, W]。
两次调整都使用双线性插值。参数
  • x (list[Tensor]): 特征图,每个形状为 [B, C_i, h_i, w_i],按构造函数输入大小的顺序排列。这些图可以具有不同的大小。
返回
  • Tensor: 形状为 [B, n_classes, H, W] 的 logits。BaseNode.run 将它们放在 "segmentation" 键下。

属性

in_sizes
附加输入的大小。该属性使用适用的第一个规则:
  1. in_sizes 构造函数参数(如果已设置)。
  2. 唯一输入数据包的 "features" 条目。
  3. 该数据包的唯一条目。
  4. 该数据包中键与 forward 参数名称匹配的条目。它们的大小必须相等,并且该属性使用第一个。
规则 2 到 4 通过 get_attached 传递条目。结果是整数 attach_index 的单一大小,以及 "all" 或范围的列表大小。具有多个输入或形状不符合规则的节点必须改为读取 input_shapes。引发
  • RuntimeError: 当 input_shapes 缺失或不包含恰好一个数据包时。当没有键匹配 forward 参数时,或者当匹配的大小不同时。当 attach_index 为 None 且条目为列表时。
  • ValueError: 当 attach_index 不符合大小时。
n_classes
节点任务的类别数。n_classes 构造函数参数优先。如果没有它,该值来自 dataset_metadata 中 task_name 的值。引发
  • RuntimeError: 当构造函数既没有 n_classes 也没有 dataset_metadata 时。
  • ValueError: 当数据集中没有名为 task_name 的任务时。
parser
projections