segmentation_visualizer
最后更新
luxonis_train.attached_modules.visualizers.segmentation_visualizer将分割掩码混合到图像中的可视化工具。类
SegmentationVisualizer

输入::prediction_canvas,target_canvas(Tensor): [B, 3, H, W]predictions(Tensor): [B, nclasses, H, W] logitstarget(Tensor | None): [B, nclasses, H, W] one-hot
输出::Tensor | tuple[Tensor, Tensor]: [B, 3, H, W],当给定目标时为一对
参考
- 来源:本项目。
- 许可证:Apache-2.0(本项目)
注意事项
每个预测像素都获得具有最高 logit 的类别。对于一个类别,当其 logit 的 sigmoid 至少为
0.5 时,像素获得该类别。可视化工具将每种类别的一种颜色混合到图像中。在 anomaly_detection 节点上,它读取 segmentation 标签。示例
附加到
model.nodes 中的 DDRNetSegmentationHead:Yaml
1- name: DDRNetSegmentationHead
2 inputs: [DDRNet]
3 visualizers:
4 - name: SegmentationVisualizer兼容::
方法
init
Python
1def __init__(colors: Color | list[Color] | None = None, background_class: int | None = 0, background_color: Color = '#000000', alpha: float = 0.6, **kwargs):colors(Color | list[Color] | None): 每种类别的一种颜色,按类别索引的顺序排列。单个颜色变为一个颜色列表。当为None,或当颜色数量不是类别数量时,forward 使用 BaseVisualizer.colormap 的颜色。它在第一次调用时记录警告。background_class(int | None): 获得background_color的类别索引。它仅在 forward 使用颜色映射颜色且节点具有多个类别时适用。None为每个类别提供颜色映射颜色。background_color(Color): 背景类别的颜色。alpha(float): 掩码的不透明度,从0(透明)到1(不透明)。**kwargs: 转发给 BaseVisualizer 的关键字参数,例如scale和node。
draw_predictions
Python
1def draw_predictions(canvas: Tensor, predictions: Tensor, alpha: float, colors: list[Color], scale: float = 1.0) -> Tensor:0.5 时,像素获得该类别。potentially_upscale_masks 按 scale 调整掩码大小,draw_segmentation_targets 将它们混合到图像中。示例
第一个像素列是类别
0,第二个是类别 1。掩码大小加倍。Pycon
1>>> import torch
2>>> canvas = torch.zeros(1, 3, 2, 4, dtype=torch.uint8)
3>>> logits = torch.tensor([[[[2.0, 0.0]], [[0.0, 2.0]]]])
4>>> viz = SegmentationVisualizer.draw_predictions(
5... canvas,
6... logits,
7... alpha=1.0,
8... colors=["red", "blue"],
9... scale=2.0,
10... )
11>>> viz[0, 0].tolist()
12[[255, 255, 0, 0], [255, 255, 0, 0]]canvas(Tensor): 形状为[B, 3, H, W]的uint8图像。该方法不会更改它们。predictions(Tensor): 形状为[B, n_classes, h, w]的 logits。掩码在按scale调整大小后必须具有画布大小。alpha(float): 掩码的不透明度,从0到1。colors(list[Color]): 每种类别的一种颜色,至少与类别数量相同。scale(float): 调整掩码大小的因子。
Tensor: 一个与canvas形状相同的新张量,其中绘制了掩码。
draw_targets
Python
1def draw_targets(canvas: Tensor, targets: Tensor, alpha: float, colors: list[Color], scale: float = 1.0) -> Tensor:bool,因此每个非零值都标记一个类别的像素。potentially_upscale_masks 按 scale 调整掩码大小,draw_segmentation_targets 将它们混合到图像中。示例
Pycon
1>>> import torch
2>>> canvas = torch.zeros(1, 3, 2, 2, dtype=torch.uint8)
3>>> target = torch.tensor([[[[1, 0], [0, 0]], [[0, 1], [1, 1]]]])
4>>> viz = SegmentationVisualizer.draw_targets(
5... canvas, target, alpha=1.0, colors=["red", "blue"]
6... )
7>>> viz[0, :, 0, 0].tolist(), viz[0, :, 0, 1].tolist()
8([255, 0, 0], [0, 0, 255])canvas(Tensor): 形状为[B, 3, H, W]的uint8图像。该方法不会更改它们。targets(Tensor): 形状为[B, n_classes, h, w]的 one-hot 掩码。掩码在按scale调整大小后必须具有画布大小。alpha(float): 掩码的不透明度,从0到1。colors(list[Color]): 每种类别的一种颜色,至少与类别数量相同。scale(float): 调整掩码大小的因子。
Tensor: 一个与canvas形状相同的新张量,其中绘制了掩码。
forward
Python
1def forward(prediction_canvas: Tensor, target_canvas: Tensor, predictions: Tensor, target: Tensor | None) -> tuple[Tensor, Tensor] | Tensor:colors。否则,它使用 BaseVisualizer.colormap 的颜色,并在第一次调用时记录警告。对于多个类别,background_class 随后获得 background_color。draw_predictions 和 draw_targets 按 scale 因子调整掩码大小并绘制它们。参数prediction_canvas(Tensor): 形状为[B, 3, H, W]的uint8图像,用于绘制预测。target_canvas(Tensor): 形状为[B, 3, H, W]的uint8图像,用于绘制目标。predictions(Tensor): 形状为[B, n_classes, h, w]的 logits,节点的主要输出。target(Tensor | None): 形状为[B, n_classes, h, w]的 one-hot 掩码,即segmentation标签。当批次没有此类标签时为None。
tuple[Tensor, Tensor] | Tensor: 当target为None时为预测图像,否则为(targets, predictions)对。每个图像的形状与其画布相同。
属性
required_labels
target 参数的标签。BaseAttachedModule.get_parameters 读取此集合以获取 forward 的 target 参数,该参数没有标签后缀。在 anomaly_detection 节点上,该集合仅包含 "segmentation",因此 target 接收异常掩码。在其他节点上,它包含任务的标签。当可视化工具没有任务时,该属性会引发 RuntimeError。