ocr_visualizer
最后更新
luxonis_train.attached_modules.visualizers.ocr_visualizer在白色面板上写入识别文本的可视化工具。类
OCRVisualizer

输入::prediction_canvas、target_canvas(Tensor):[B, 3, H, W]predictions(Tensor):[B, T, C] logitstargets(Tensor | None):[B, Tmax] Unicode 码点,用0填充
输出::tuple[Tensor, Tensor]:[B, 3, H, W],输入图像和文本面板
参考
- 来源:本项目。
- 许可证:Apache-2.0(本项目)
注意事项
附加的 OCRCTCHead 的
decoder 将预测转换为文本。OpenCV 在面板上写入文本。示例
附加到
model.nodes 中的 OCRCTCHead:Yaml
1- name: OCRCTCHead
2 inputs: [SVTRNeck]
3 visualizers:
4 - name: OCRVisualizer兼容::
方法
init
Python
1def __init__(font_scale: float = 0.5, color: tuple[int, int, int] = (0, 0, 0), thickness: int = 1, **kwargs):font_scale(float):OpenCV 文本的字体比例。color(tuple[int, int, int]):文本颜色,每个通道一个值在[0, 255]之间,按画布的通道顺序。默认值为黑色。thickness(int):文本的线条粗细,以像素为单位。**kwargs:转发到 BaseVisualizer 的关键字参数,例如scale和node。node必须是 OCRCTCHead,因为 forward 使用其decoder。其他节点类型会引发IncompatibleError。
forward
Python
1def forward(prediction_canvas: Tensor, target_canvas: Tensor, predictions: Tensor, targets: Tensor | None) -> tuple[Tensor, Tensor]:decoder 将 predictions 转换为文本和每个图像的平均概率。对于每个图像,该方法用白色填充画布大小的面板。当给出 targets 时,它会写入 "GT: <目标文本>",文本的左下角位于像素 (5, 20)。它会在 (5, 40) 处写入 "Pred: <预测文本> <概率>"。概率有两位小数,对于空文本为 nan。示例
Pycon
1>>> import torch
2>>> from torch import Size
3>>> from luxonis_train.nodes import OCRCTCHead
4>>> shapes = [{"features": [Size([1, 8, 1, 4])]}]
5>>> head = OCRCTCHead(alphabet=["a", "b"], input_shapes=shapes)
6>>> visualizer = OCRVisualizer(node=head)
7>>> canvas = torch.zeros(1, 3, 48, 96, dtype=torch.uint8)
8>>> targets = torch.tensor([[97, 98, 0]])
9>>> images, panels = visualizer(
10... canvas, canvas, torch.zeros(1, 4, 3), targets
11... )
12>>> bool((images == canvas).all()), panels[0, :, 0, 0].tolist()
13(True, [255, 255, 255])prediction_canvas(Tensor):形状为[B, 3, H, W]的图像。该方法仅使用此张量的形状、dtype 和设备。target_canvas(Tensor):形状为[B, 3, H, W]的uint8图像。面板将获得这些图像的大小。predictions(Tensor):节点的 logits,形状为[B, T, n_classes]。targets(Tensor | None):metadata/text标签,形状为[B, T_max]。每行包含一个文本的 Unicode 码点,用0填充。当批次没有文本标签时为None。
tuple[Tensor, Tensor]:target_canvas的副本,以及相同形状张量中的面板。