ocr_ctc_head
最后更新
luxonis_train.nodes.heads.ocr_ctc_headOCR 头,用于预测 CTC 的每个序列步骤的字符类别分数。类
OCRCTCHead
输入::inputs(Tensor): [B, C, 1, T]
输出::- 训练、评估:
ocr(Tensor): [B, T, nclasses] logits,类别0为空白
- 导出:
ocr(Tensor): [B, T, nclasses] softmax 概率
- 训练、评估:
参考
- 来源: 改编自 PaddlePaddle/PaddleOCR (Apache-2.0)。
- 许可证: Apache-2.0
注意事项
该头移除了特征图的高度轴,因此高度必须为
1。每个 T 列成为序列的一个步骤。一个线性层将每个步骤映射到类别 logits。使用 mid_channels 时,两个线性层之间有一个 ReLU 来完成此操作。类别来自 alphabet,而不是数据集。nclasses 是 out_channels。类别 0 是 CTC 空白。alphabet 的唯一字符按排序顺序排列。如果 ignore_unknown=False,则最后一个类别是 "<UNK>"。CTCLoss 和 OCRAccuracy 使用 encoder 对文本标签进行编码。OCRVisualizer 使用 decoder 解码预测。变体:: 无。通过params配置节点。
示例
配置中
model.nodes 部分的节点条目:Yaml
1- name: OCRCTCHead
2 inputs: [SVTRNeck]
3 params:
4 alphabet: ["a", "b", "c"]兼容::- 附加索引:
-1,输入节点的最后一个输出 - 所需标签:
metadata/text - 使用者: OCRRecognitionModel
- 损失: CTCLoss
- 指标: OCRAccuracy
- 可视化工具: OCRVisualizer
- 导出解析器:
ClassificationSequenceParser
- 附加索引:
方法
init
Python
1def __init__(alphabet: list[str], ignore_unknown: bool = True, mid_channels: int | None = None, return_feats: bool = False, **kwargs):alphabet(list[str]): 头预测的字符。编码器对其进行排序,并将空白类放在它们之前。每个字符只能出现一次。ignore_unknown(bool): 编码器是否删除alphabet中不存在的标签字符。如果为False,编码器将字符映射到额外的类别"<UNK>",因此头会预测多一个类别。mid_channels(int | None): 两个线性层之间的隐藏特征数量。None表示从in_channels到 out_channels 的一个线性层。return_feats(bool): 头将值存储在return_feats属性中。forward 不读取它,因此该值无效。**kwargs: BaseNode 的关键字参数。它们必须包含input_shapes或in_sizes。
ValueError: 当alphabet包含重复字符时。
forward
Python
1def forward(x: Tensor) -> Tensor:C 通道映射到类别 logits。在导出模式下,该方法对类别应用 softmax。示例
字母表
["b", "a"] 给出三个类别: 空白、"a" 和 "b"。Pycon
1>>> import torch
2>>> from torch import Size
3>>> from luxonis_train.nodes import OCRCTCHead
4>>> head = OCRCTCHead(
5... alphabet=["b", "a"],
6... input_shapes=[{"features": [Size([1, 8, 1, 4])]}],
7... )
8>>> head(torch.zeros(1, 8, 1, 4)).shape
9torch.Size([1, 4, 3])
10>>> head.export = True
11>>> probabilities = head(torch.zeros(1, 8, 1, 4))
12>>> torch.allclose(probabilities.sum(dim=-1), torch.tensor(1.0))
13Truex(Tensor): 形状为[B, C, 1, T]的特征图。如果高度不是1,permute会引发RuntimeError。
Tensor: 形状为[B, T, out_channels]的 logits。在导出模式下,相同形状的 softmax 概率。BaseNode.run 将结果放在"ocr"键下。
get_custom_head_config
Python
1def get_custom_head_config(self) -> Params:"classes" 和 "n_classes" 键替换数据集中的值。BaseHead.get_head_config 仍然首先读取数据集的类名,因此它需要 dataset_metadata。示例
Pycon
1>>> from torch import Size
2>>> from luxonis_train.nodes import OCRCTCHead
3>>> head = OCRCTCHead(
4... alphabet=["b", "a"],
5... ignore_unknown=False,
6... input_shapes=[{"features": [Size([1, 8, 1, 4])]}],
7... )
8>>> config = head.get_custom_head_config()
9>>> [str(char) for char in config["classes"]]
10['', 'a', 'b', '<UNK>']
11>>> config["n_classes"], config["ignored_indexes"]
12(4, [0])Params: 包含这些键的字典。"classes"包含 encoder 的字母表,空白""在最前面。"n_classes"包含 out_channels。"is_softmax"为True,因为导出的模型应用了 softmax。"concatenate_classes"为True。"ignored_indexes"为[0],即空白的索引。"remove_duplicates"为True。
initialize_weights
Python
1def initialize_weights(method: str | None = None):method 调用 BaseNode.initialize_weights。然后,它从 [ − 1 ⁄ √(nin), 1 ⁄ √(nin)] 上的均匀分布中抽取每个 torch.nn.Linear 的权重和偏置。nin 是层的输入特征数量。这些是 PyTorch 默认初始化 torch.nn.Linear 的边界。参数method(str | None): BaseNode.initialize_weights 的方法。使用mid_channels时,"yolo"使线性层之间的 ReLU 就地运行。其他值不会改变任何东西。
属性
block
decoder
0 和每个重复前一个类别的类别。对于每个序列,它返回文本和保留字符的平均概率。对于空文本,平均值为 NaN。OCRVisualizer 和 BaseHead.annotate 使用它。encoder
0 处的空白 "" 开头。alphabet 的排序唯一字符紧随其后。如果 ignore_unknown 为 False,则 "<UNK>" 是最后一个条目。export_output_names
["output_ocr_ctc"]。该属性忽略 export_output_names 参数。in_channels
RuntimeError: 当 in_sizes 找不到输入大小时。ValueError: 当 attach_index 不适合大小时。
out_channels
alphabet 的唯一字符,以及当 ignore_unknown 为 False 时的 "<UNK>"。