tal_assigner
最后更新
luxonis_train.assigners.tal_assigner任务对齐分配器,它通过预测的类别分数和预测框的 IoU 一起选择正锚点。类
TaskAlignedAssigner
- 它找到中心在框内的锚点。
- 它最多保留
topk个这些锚点,即 t 值最高的锚点。
参考文献
方法
init
Python
1def __init__(n_classes: int, topk: int = 13, alpha: float = 1.0, beta: float = 6.0, eps: float = 1e-09, strides: Sequence[int] | Tensor | None = None, skip_stal: bool = False):n_classes(int): 数据集中的类别数量。标签n_classes在输出中标记背景锚点。topk(int): 分配器为每个真实框选择的具有最高对齐度量的锚点数量。它不能大于锚点数量。alpha(float): 对齐度量中类别分数 α 的指数。beta(float): 对齐度量中重叠 u 的指数 β。eps(float): 一个小值,用于防止分数归一化和对象关键点相似度中出现除以零的情况。strides(Sequence[int] | Tensor | None): 检测头在像素中的步幅,例如[8, 16, 32]。分配器对其进行排序并删除重复项。STAL 需要步幅,因此None或空值会关闭 STAL。skip_stal(bool):True关闭 STAL。当skip_stal为False且strides为None或为空时,分配器会记录警告并关闭 STAL。
forward
Python
1def forward(pred_scores: Tensor, pred_bboxes: Tensor, anchor_points: Tensor, gt_labels: Tensor, gt_bboxes: Tensor, mask_gt: Tensor, pred_kpts: Tensor | None = None, gt_kpts: Tensor | None = None, sigmas: Tensor | None = None, area_factor: float | None = None) -> tuple[Tensor, Tensor, Tensor, Tensor, Tensor]:xyxy 格式。框、锚点和关键点使用相同的单位。STAL 将框大小与步幅进行比较,因此 STAL 需要像素单位的框。只有 mask_gt 设置为 1 的框才能获得正锚点。该方法在 torch.no_grad 下运行,因此输出没有梯度。要将对象关键点相似度添加到对齐度量中,请提供 pred_kpts、gt_kpts、sigmas 和 area_factor。示例
该框包含前两个锚点的中心。两个预测框与它的 IoU 均为
0.5。第一个框具有更高的类别分数,因此它获得分数 0.5。Pycon
1>>> import torch
2>>> assigner = TaskAlignedAssigner(
3... n_classes=2, topk=2, skip_stal=True
4... )
5>>> anchor_points = torch.tensor(
6... [[2.0, 2.0], [6.0, 2.0], [2.0, 6.0], [6.0, 6.0]]
7... )
8>>> pred_bboxes = torch.cat(
9... [anchor_points - 2, anchor_points + 2], -1
10... )
11>>> pred_scores = torch.tensor(
12... [[[0.1, 0.9], [0.2, 0.5], [0.3, 0.3], [0.9, 0.1]]]
13... )
14>>> gt_labels = torch.tensor([[[1.0]]])
15>>> gt_bboxes = torch.tensor([[[0.0, 0.0, 8.0, 4.0]]])
16>>> mask_gt = torch.tensor([[[1.0]]])
17>>> labels, bboxes, scores, mask, gt_idx = assigner(
18... pred_scores,
19... pred_bboxes[None],
20... anchor_points,
21... gt_labels,
22... gt_bboxes,
23... mask_gt,
24... )
25>>> labels.tolist()
26[[1, 1, 2, 2]]
27>>> mask.tolist()
28[[True, True, False, False]]
29>>> [round(s, 2) for s in scores[0, :, 1].tolist()]
30[0.5, 0.28, 0.0, 0.0]pred_scores(Tensor): 预测的类别概率,范围为[0, 1],形状为[bs, n_anchors, n_classes]。损失函数给出类别 logits 的 sigmoid。pred_bboxes(Tensor): 预测框,形状为[bs, n_anchors, 4]。anchor_points(Tensor): 锚点中心(x, y),形状为[n_anchors, 2]。gt_labels(Tensor): 每个真实框的类别索引,形状为[bs, n_max_boxes, 1]。gt_bboxes(Tensor): 真实框,形状为[bs, n_max_boxes, 4]。mask_gt(Tensor):1表示真实框,0表示填充槽,形状为[bs, n_max_boxes, 1]。pred_kpts(Tensor | None): 预测关键点,形状为[bs, n_anchors, n_kpts, 3]。分配器只读取x和y。gt_kpts(Tensor | None): 真实关键点,格式为(x, y, visibility),形状为[bs, n_max_boxes, n_kpts, 3]。sigmas(Tensor | None): 每个关键点一个 sigma,形状为[n_kpts]。area_factor(float | None): 将真实框面积缩放到姿态面积的因子。
tuple[Tensor, Tensor, Tensor, Tensor, Tensor]: 五个张量。assigned_labels([bs, n_anchors],int64) 存储分配框的类别,或n_classes表示背景锚点。assigned_bboxes([bs, n_anchors, 4]) 存储分配框。只有正锚点处的值有意义。assigned_scores([bs, n_anchors, n_classes]) 存储按归一化对齐度量 t̂ 缩放的独热类别向量。背景锚点为零。mask_positive([bs, n_anchors],bool) 在分配了框的锚点处为True。assigned_gt_idx([bs, n_anchors],int64) 存储沿gt_bboxes维度1的分配框索引,背景锚点为0。 当n_max_boxes为0时,每个锚点都是背景。
ValueError: 当pred_kpts、gt_kpts、sigmas和area_factor中部分为None而非全部为None时。