transformer_segmentation_head
最后更新
luxonis_train.nodes.heads.transformer_segmentation_headTransformer 主干网络补丁 token 上的分割头。类
TransformerSegmentationHead
return_sequence 参数为 False 时,提供 depth 个分辨率相同的特征图。输入::inputs(list[Tensor]): 每个图 [B, Ci, hi, wi],任意分辨率
输出::segmentation(Tensor): [B, nclasses, H, W] logits
参考
- 来源:本项目。
- 许可证:Apache-2.0(本项目)
注意事项
一个
1x1 卷积、一个批归一化和一个 ReLU 将每个特征图投影到 256 个通道。头部将每个投影图的大小调整为图像高度和宽度的四分之一,并对这些图进行平均。然后,一个带有 ReLU 的 3x3 卷积和一个 1x1 卷积为每个类别提供一个 logit 图。最后一次调整将 logits 调整为图像大小。所有调整都是双线性的。该模式不改变输出键或形状。这包括导出模式。变体:: 无。通过params配置节点。
示例
配置中
model.nodes 部分的节点条目:Yaml
1- name: TransformerSegmentationHead
2 inputs: [DinoV3]兼容::- 附加索引:
"all",输入节点的所有输出 - 所需标签:
segmentation - 损失:
- 指标:
- 可视化工具:SegmentationVisualizer
- 导出解析器:
SegmentationParser
- 附加索引:
方法
init
Python
1def __init__(**kwargs: Any):1 读取每个图的通道数。因此,每个大小必须具有 [B, C_i, h_i, w_i] 的形式。该类将 BaseNode.in_sizes 注释为列表。整数 attach_index 选择一个输出,因此 BaseNode.in_sizes 是一个单一大小。因此,这样的 attach_index 会使构造函数引发 IncompatibleError。参数**kwargs(Any): BaseNode 的关键字参数。它们必须通过input_shapes或in_sizes包含输入大小,并通过n_classes或dataset_metadata包含类别计数。forward 还需要original_in_shape。
forward
Python
1def forward(x: list[Tensor]) -> Tensor:H 和 W 是 original_in_shape 中的图像大小。该方法执行以下步骤:- 将每个特征图投影到
256个通道。 - 将每个投影图的大小调整为
[H // 4, W // 4]。 - 对调整大小后的图进行平均。
- 应用解码器,生成
n_classes个通道。 - 将 logits 的大小调整为
[H, W]。
示例
Pycon
1>>> import torch
2>>> from torch import Size
3>>> from luxonis_train.nodes import TransformerSegmentationHead
4>>> sizes = [Size([1, 24, 4, 4]), Size([1, 12, 8, 8])]
5>>> head = TransformerSegmentationHead(
6... n_classes=3,
7... input_shapes=[{"features": sizes}],
8... original_in_shape=Size([3, 64, 64]),
9... )
10>>> head([torch.zeros(size) for size in sizes]).shape
11torch.Size([1, 3, 64, 64])x(list[Tensor]): 特征图,每个形状为[B, C_i, h_i, w_i],按构造函数输入大小的顺序排列。这些图可以具有不同的大小。
Tensor: 形状为[B, n_classes, H, W]的 logits。BaseNode.run 将它们放在"segmentation"键下。
属性
head
in_sizes
in_sizes构造函数参数(如果已设置)。- 唯一输入数据包的
"features"条目。 - 该数据包的唯一条目。
- 该数据包中键与
forward参数名称匹配的条目。它们的大小必须相等,并且该属性使用第一个。
"all" 或范围的列表大小。具有多个输入或形状不符合规则的节点必须改为读取 input_shapes。示例
Pycon
1>>> from torch import Size, Tensor
2>>> from luxonis_train.nodes import BaseNode
3>>> class Node(BaseNode, register=False):
4... def forward(self, x: list[Tensor]) -> list[Tensor]:
5... return x
6>>> shapes = [
7... {"features": [Size([2, 8, 64, 64]), Size([2, 16, 32, 32])]}
8... ]
9>>> node = Node(input_shapes=shapes)
10>>> node.attach_index
11'all'
12>>> node.in_sizes
13[torch.Size([2, 8, 64, 64]), torch.Size([2, 16, 32, 32])]
14>>> node.in_channels, node.in_height, node.in_width
15([8, 16], [64, 32], [64, 32])RuntimeError: 当input_shapes缺失或不包含恰好一个数据包时。当没有键匹配forward参数时,或者当匹配的大小不同时。当 attach_index 为None且条目为列表时。ValueError: 当 attach_index 不符合大小时。
n_classes
n_classes 构造函数参数优先。如果没有它,该值来自 dataset_metadata 中 task_name 的值。引发RuntimeError: 当构造函数既没有n_classes也没有dataset_metadata时。ValueError: 当数据集中没有名为 task_name 的任务时。