ctc_loss
最后更新
luxonis_train.attached_modules.losses.ctc_loss连接时序分类 (CTC) 损失,用于训练序列模型,无需输入和文本之间的对齐。类
CTCLoss
输入::predictions(Tensor): [B, T, C] 对数几率,类别0为空白target(Tensor): [B, L] 文本的 Unicode 码点,0填充
输出::Tensor: 标量
公式:: 节点的编码器将target的每个字符映射到其类别索引。对于图像 i,ℓi 是其编码文本的负对数似然。nn.CTCLoss将 T 个对数 softmax 预测的所有对齐的似然求和,其中类别0为空白。使用use_focal_loss时,损失为 L = (1)/(B)B∑i = 1ℓi(1 − e − ℓi)2 不使用use_focal_loss时,L 是 ℓi 的平均值。
参考
- 来源: 封装 torch.nn.CTCLoss (BSD-3-Clause)。
- 许可证: Apache-2.0 (本项目)
注意事项
该损失未声明
supported_tasks,并从节点获取其任务。其 node 注释将其限制为 OCRCTCHead,而 BaseAttachedModule 会为另一个节点引发 IncompatibleError。该损失不会分离焦点因子,因此梯度也会流经它。nn.CTCLoss 保持 zero_infinity 关闭,因此长度为 T 的对齐无法生成的文本会产生无限损失。示例
附加到
model.nodes 中的 OCRCTCHead:Yaml
1- name: OCRCTCHead
2 inputs: [SVTRNeck]
3 losses:
4 - name: CTCLoss兼容::- 使用者: OCRRecognitionModel
- 节点: OCRCTCHead
方法
init
Python
1def __init__(use_focal_loss: bool = True, **kwargs):nn.CTCLoss。封装的损失使用类别 0 作为空白,并返回每个图像的损失。forward 计算批次的平均值。参数use_focal_loss(bool): 是否将每个图像的损失 ℓi 乘以 (1 − e − ℓi)2,如类别公式所述。**kwargs: 转发给 BaseLoss 的关键字参数,例如final_loss_weight和node。
forward
Python
1def forward(predictions: Tensor, target: Tensor) -> Tensor:target 进行编码,并将结果移动到 predictions 的设备。编码器会丢弃不在字母表中的字符。当节点的 ignore_unknown 为 False 时,它会将字符映射到 <UNK>。每个文本的长度是其非零类别索引的数量。每个预测序列都具有完整的长度 T。示例
该示例有一个时间步,空白和
"a" 和 "b" 类的对数几率相等。文本 "a" 有一个对齐,概率为 1 ⁄ 3,因此 ℓ = ln3。焦点因子为 (1 − 1 ⁄ 3)2 = 4 ⁄ 9:Pycon
1>>> import torch
2>>> from luxonis_train.nodes import OCRCTCHead
3>>> head = OCRCTCHead(
4... alphabet=["a", "b"],
5... input_shapes=[{"features": [torch.Size([1, 8, 1, 4])]}],
6... )
7>>> predictions = torch.zeros(1, 1, 3)
8>>> target = torch.tensor([[ord("a")]])
9>>> loss = CTCLoss(use_focal_loss=False, node=head)
10>>> round(loss(predictions, target).item(), 4)
111.0986
12>>> focal_loss = CTCLoss(node=head)
13>>> round(focal_loss(predictions, target).item(), 4)
140.4883predictions(Tensor): 形状为[B, T, C]的对数几率,是节点的主要输出。T是序列长度,C是类别数,其中类别0为空白。target(Tensor): 形状为[B, L]的metadata/text标签。每个值是一个字符的 Unicode 码点,0填充较短的文本。
Tensor: 批次的平均损失,作为标量。