contextspatial
最后更新
luxonis_train.nodes.backbones.contextspatialBiSeNet V1 上下文空间骨干及其两条路径。SpatialPath 保留图像的空间细节。ContextPath 运行另一个骨干以获得大的感受野。ContextSpatial 融合两条路径的输出。类
ContextPath
f16 和 f32 是这些图,步长分别为 16 和 32。该路径执行以下步骤:- 一个 AttentionRefinementBlock 将
f16和f32中的每一个映射到 128 个通道。 - 一个全局平均池化和一个
1x1ConvBlock 将f32转换为每个图像的一个上下文向量。该路径将向量大小调整为f32的大小,并将其添加到精炼的f32中。 - 该路径将总和上采样
2倍,应用一个3x3ConvBlock,并将结果添加到精炼的f16中。 - 该路径将第二个总和上采样
2倍,并应用第二个3x3ConvBlock。
方法
init
Python
1def __init__(backbone: nn.Module):3x3 精炼块。forward 构建其他层。参数backbone(nn.Module): 返回特征图序列的模块。该路径读取最后两个条目。它们必须具有步长 16 和 32。
forward
Python
1def forward(x: Tensor) -> tuple[Tensor, Tensor]:x 的设备和 dtype。它们在训练状态下启动,即使路径处于评估状态也是如此。示例
Pycon
1>>> import torch
2>>> from luxonis_train.nodes import MobileNetV2
3>>> path = ContextPath(MobileNetV2())
4>>> hasattr(path, "arm16")
5False
6>>> [tuple(t.shape) for t in path(torch.zeros(2, 3, 64, 64))]
7[(2, 128, 8, 8), (2, 128, 4, 4)]
8>>> hasattr(path, "arm16")
9Truex(Tensor): 骨干的输入,形状为[B, C, H, W]。步长为 32 的图,上采样2倍后,必须具有步长为 16 的图的大小。H和W的所有 32 的倍数都满足此条件。在训练状态下,B必须大于1。原因是全局池化后的每个批归一化都会看到每个图像的一个值。
tuple[Tensor, Tensor]: 两个具有 128 个通道的图。第一个是最终合并的图,大小是步长为 16 的图的两倍。第二个是精炼的步长为 32 的分支,经过上采样和3x3ConvBlock 后,大小与步长为 16 的图相同。当H和W是32的倍数时,形状为[B, 128, H / 8, W / 8]和[B, 128, H / 16, W / 16]。
属性
arm16
arm32
backbone
global_context
refine16
refine32
up16
up32
ContextSpatial
- SpatialPath 保留细节。它以输入大小的 1/8 提供 128 个通道。
- ContextPath 运行上下文骨干并精炼其最后两个特征图。它也以输入大小的 1/8 提供 128 个通道。
- 一个 FeatureFusionBlock 将这两个图融合为 256 个通道。
输入::inputs(Tensor): [B, 3, H, W]
输出::features(list[Tensor]): [B, 256, H ⁄ 8, W ⁄ 8]
参考
- 来源:重新实现自 BiSeNet: Bilateral Segmentation Network for Real-time Semantic Segmentation。
- 许可证:Apache-2.0 (本项目)
注意
该节点为 3 个输入通道构建 SpatialPath。上下文骨干的最后两个特征图必须具有步长 16 和 32。然后,H 和 W 的所有 32 的倍数都适用。其他大小可能会导致特征图大小不同,PyTorch 随后会引发
RuntimeError。在训练状态下,批次必须包含多于一个图像。原因是全局池化后的每个批归一化都会看到每个图像的一个值。ContextPath 在第一次前向调用中创建其注意力精炼块和全局上下文层。在此调用之前,节点的状态字典不包含它们。变体:: 无。通过params配置节点。
示例
配置中
model.nodes 部分的节点条目:Yaml
1- name: ContextSpatial兼容::- 附加索引:
-1,输入节点的最后一个输出
- 附加索引:
方法
init
Python
1def __init__(context_backbone: str | nn.Module = 'MobileNetV2', backbone_kwargs: Kwargs | None = None, **kwargs):context_backbone(str | nn.Module): ContextPath 的骨干。字符串命名 luxonis_train.registry.NODES 中的一个节点。构造函数使用backbone_kwargs和kwargs构建该节点。未知名称会使注册表引发KeyError。模块按原样传递给 ContextPath。骨干必须返回特征图序列,并且最后两个条目必须具有步长 16 和 32。默认为"MobileNetV2"。backbone_kwargs(Kwargs | None): 骨干节点的关键字参数。构造函数仅在context_backbone是字符串时读取它们。它将kwargs合并到此字典中,并且kwargs中的键会替换此处的相同键。非空字典会就地更改,因此调用者会看到合并的键。None和空字典从一个新的空字典开始。**kwargs: 转发给 BaseNode 的关键字参数。从名称构建的骨干也会获得它们。
forward
Python
1def forward(inputs: Tensor) -> list[Tensor]:示例
Pycon
1>>> import torch
2>>> from luxonis_train.nodes import ContextSpatial
3>>> node = ContextSpatial()
4>>> [tuple(t.shape) for t in node(torch.zeros(2, 3, 64, 64))]
5[(2, 256, 8, 8)]Pycon
1>>> [tuple(t.shape) for t in node(torch.zeros(2, 3, 62, 94))]
2[(2, 256, 8, 12)]inputs(Tensor): 形状为[B, 3, H, W]的图像批次。H和W的所有 32 的倍数都适用。其他大小可能会导致特征图大小不同,PyTorch 随后会引发RuntimeError。在训练状态下,B必须大于1。否则,批归一化会引发ValueError。
list[Tensor]: 包含一个融合特征图的列表,形状为[B, 256, ceil(H / 8), ceil(W / 8)]。
属性
context_path
ffm
spatial_path
SpatialPath
7x7 内核,其他两层具有 3x3 内核。它们每个都具有步长 2 和 64 个输出通道。然后,一个 1x1 ConvBlock 将结果映射到 out_channels。每层都使用批归一化和 ReLU。示例
Pycon
1>>> import torch
2>>> path = SpatialPath(3, 128)
3>>> path(torch.zeros(1, 3, 64, 64)).shape
4torch.Size([1, 128, 8, 8])方法
init
Python
1def __init__(in_channels: int, out_channels: int):in_channels(int): 输入通道数。out_channels(int): 输出通道数。
forward
Python
1def forward(x: Tensor) -> Tensor:x 的大小减小到其 1/8 并映射其通道。参数x(Tensor): 形状为[B, in_channels, H, W]的输入。
Tensor: 形状为[B, out_channels, ceil(H / 8), ceil(W / 8)]的输出。