object_keypoint_similarity
最后更新
luxonis_train.attached_modules.metrics.object_keypoint_similarity对象关键点相似度,IoU 的关键点对应物。该指标将每张图像的预测姿态与目标姿态配对,并平均配对的相似度。关键点的 sigma 设置了关键点容忍的距离。类
ObjectKeypointSimilarity
输入::keypoints(list[Tensor]): 每张图像的 [Mi, nkeypoints, 3],(x, y, conf)以像素为单位。FOMOHead 给出 [Mi, 1, 4]。只有x和y计数。target_boundingbox(Tensor): [N, 6],[batch, class, x, y, w, h],归一化。target_keypoints(Tensor | None): [N, 1 + 3nkeypoints],[batch, x, y, v, ...],归一化。Tasks.FOMO不读取它。
输出::Tensor:[0, 1]中的标量
公式:: compute_pose_oks 给出目标姿态和一张图像的预测姿态的每对相似度。目标的姿态面积是其框的像素面积的area_factor倍。匈牙利算法配对姿态,使相似度之和最大。一张图像的分数是其配对的平均相似度。该指标返回图像的平均分数。
参考
- 来源:本项目。
- 许可证:Apache-2.0(本项目)
注意
- 该指标跳过没有目标的图像。
- 没有配对的姿态不会降低其图像的分数。有目标但没有预测的图像得分为
0。 - 对于
Tasks.FOMO,目标框的中心是目标关键点。
示例
附加到
model.nodes 中的 FOMOHead:Yaml
1- name: FOMOHead
2 inputs: [EfficientRep]
3 metrics:
4 - name: ObjectKeypointSimilarity方法
init
Python
1def __init__(sigmas: list[float] | None = None, area_factor: float | None = None, use_cocoeval_oks: bool = True, **kwargs):sigmas 没有每个关键点的值时,get_sigmas 会引发 ValueError。参数sigmas(list[float] | None): 每个关键点的一个 sigma。较大的 sigma 容忍较大的距离。None选择17个关键点的 COCO 人体 sigma,否则每个关键点选择0.04。get_sigmas 然后记录选择。area_factor(float | None): 将目标框面积缩放到姿态面积的因子。None选择0.53并记录一条信息消息。use_cocoeval_oks(bool): 当为True时,使用 COCO 评估代码的公式。当为False时,使用 COCO 关键点定义的公式。compute_pose_oks 显示了两种公式。**kwargs: 转发给 BaseMetric 的关键字参数,例如node。
compute
Python
1def compute(self) -> Tensor:sigmas 移动到指标的设备。示例
第一张图像有两个目标和一个精确预测。没有配对的目标不计数,因此图像得分为
1。第二张图像没有预测,得分为 0:Pycon
1>>> import torch
2>>> from torch import Size
3>>> from luxonis_train.nodes import EfficientKeypointBBoxHead
4>>> head = EfficientKeypointBBoxHead(
5... n_heads=1,
6... n_classes=1,
7... n_keypoints=1,
8... input_shapes=[{"features": [Size([1, 8, 8, 8])]}],
9... original_in_shape=Size([3, 100, 100]),
10... )
11>>> metric = ObjectKeypointSimilarity(
12... node=head, sigmas=[0.04], area_factor=0.53
13... )
14>>> boxes = torch.tensor([[0.0, 0.0, 0.1, 0.1, 0.2, 0.2]] * 3)
15>>> boxes[2, 0] = 1.0
16>>> keypoints = torch.tensor(
17... [
18... [0.0, 0.2, 0.2, 2.0],
19... [0.0, 0.6, 0.6, 2.0],
20... [1.0, 0.2, 0.2, 2.0],
21... ]
22... )
23>>> exact = torch.tensor([[[20.0, 20.0, 1.0]]])
24>>> metric.update([exact, torch.zeros(0, 1, 3)], boxes, keypoints)
25>>> metric.compute().item()
260.5Tensor: 存储图像的平均分数,[0, 1]中的标量。当没有图像有目标时,它为0。
update
Python
1def update(keypoints: list[Tensor], target_boundingbox: Tensor, target_keypoints: Tensor | None = None):keypoints(list[Tensor]): 每张图像的预测关键点,形状为[M_i, n_keypoints, 3],以像素为单位。FOMOHead 给出形状[M_i, 1, 4]。只有x和y计数。target_boundingbox(Tensor): 批次的目标框,形状为[N, 6],表示为[batch, class, x, y, w, h],具有归一化值。target_keypoints(Tensor | None): 批次的目标关键点,形状为[N, 1 + 3 * n_keypoints],表示为[batch, x, y, v, ...],具有归一化坐标。对于Tasks.FOMO,该方法使用目标框的中心代替。
ValueError: 当target_keypoints为None且任务不是Tasks.FOMO时。