fomo_visualizer
最后更新
luxonis_train.attached_modules.visualizers.fomo_visualizer绘制 FOMO 头预测的点和目标框。类
FOMOVisualizer

输入::prediction_canvas,target_canvas(Tensor): [B, 3, H, W]keypoints(list[Tensor]): 每张图像 [Ki, 1, 4],(x, y, prob, class),像素target_boundingbox(Tensor | None): [N, 6],[batch, class, x, y, w, h],xywh归一化
输出::Tensor | tuple[Tensor, Tensor]: [B, 3, H, W],给定目标时为一对
参考
- 来源:本项目。
- 许可证:Apache-2.0(本项目)
注意事项
重用边界框目标绘制和关键点渲染,用于解码的 FOMO 预测。
示例
附加到
model.nodes 中的 FOMOHead:Yaml
1- name: FOMOHead
2 inputs: [EfficientRep]
3 visualizers:
4 - name: FOMOVisualizer方法
init
Python
1def __init__(visibility_threshold: float = 0.5, radius: int = 5, **kwargs):visibility_threshold(float): 点的最小概率。draw_predictions_per_class 会跳过低于此值的点。forward 对于具有三个值的点会忽略它。默认为0.5。radius(int): 绘制点的半径,以像素为单位。默认为5。**kwargs: 转发给 BBoxVisualizer 的关键字参数,例如labels、colors、scale和node。
draw_predictions_per_class
Python
1def draw_predictions_per_class(canvas: Tensor, predictions: list[Tensor]) -> Tensor:scale 因子缩放坐标,并保留概率至少为 visibility_threshold 的点。然后将其钳制到图像中,并使用 torchvision.utils.draw_keypoints 绘制。类别采用 colors 中其名称的颜色,如果名称没有颜色则为白色。示例
Pycon
1>>> import torch
2>>> visualizer = FOMOVisualizer(labels=["cat"], colors=["red"])
3>>> canvas = torch.zeros(1, 3, 8, 8, dtype=torch.uint8)
4>>> points = [torch.tensor([[[4.0, 4.0, 0.9, 0.0]]])]
5>>> viz = visualizer.draw_predictions_per_class(canvas, points)
6>>> bool((viz[0, 0] == 255).any()), bool((viz[0, 1] == 255).any())
7(True, False)
8>>> faint = [torch.tensor([[[4.0, 4.0, 0.1, 0.0]]])]
9>>> bool(
10... visualizer.draw_predictions_per_class(canvas, faint).any()
11... )
12Falsecanvas(Tensor): 形状为[B, 3, H, W]的uint8图像。该方法不会修改它。predictions(list[Tensor]): 每张图像一个张量,形状为[K_i, 1, 4],行格式为(x, y, prob, class),以像素为单位。
Tensor: 绘制了点的canvas副本。
forward
Python
1def forward(prediction_canvas: Tensor, target_canvas: Tensor, keypoints: list[Tensor], target_boundingbox: Tensor | None) -> tuple[Tensor, Tensor] | Tensor:keypoints 中的每个张量每个点有三个值时,该方法使用 KeypointVisualizer.draw_predictions 和 radius 以红色绘制点。该调用会忽略 visibility_threshold 和 scale 因子。它会在坐标处绘制概率至少为 0.5 的点,并在左上角绘制任何其他点。否则,该方法会调用 draw_predictions_per_class,它会按类别着色点并应用 visibility_threshold 和 scale 因子。FOMOHead 总是为每个点生成四个值,因此其输出会走第二条路径。示例
Pycon
1>>> import torch
2>>> visualizer = FOMOVisualizer(labels=["cat"], colors=["red"])
3>>> canvas = torch.zeros(1, 3, 8, 8, dtype=torch.uint8)
4>>> points = [torch.tensor([[[4.0, 4.0, 0.9, 0.0]]])]
5>>> visualizer(canvas, canvas, points, None).shape
6torch.Size([1, 3, 8, 8])
7>>> boxes = torch.tensor([[0, 0, 0.25, 0.25, 0.5, 0.5]])
8>>> len(visualizer(canvas, canvas, points, boxes))
92prediction_canvas(Tensor): 形状为[B, 3, H, W]的uint8图像,用于绘制点。target_canvas(Tensor): 形状为[B, 3, H, W]的uint8图像,用于绘制目标框。keypoints(list[Tensor]): 每张图像一个张量,形状为[K_i, 1, 4],行格式为(x, y, prob, class),以像素为单位;或者形状为[K_i, 1, 3],不包含类别。target_boundingbox(Tensor | None): 形状为[N, 6]的框,行格式为[batch_index, class, x, y, w, h],xywh归一化到[0, 1]。当批次没有boundingbox标签时为None。
tuple[Tensor, Tensor] | Tensor: 当target_boundingbox不为None时,返回绘制图像的对(targets, predictions);否则只返回预测图像。