keypoints
最后更新
luxonis_train.utils.keypoints关键点的数学辅助函数。该模块包含关键点 sigma、对象关键点相似度以及关键点和边界框之间的转换。函数
compute_pose_oks
Python
1def compute_pose_oks(predictions: Tensor, targets: Tensor, sigmas: Tensor, gt_bboxes: Tensor | None = None, pose_area: Tensor | None = None, eps: float = 1e-09, area_factor: float = 0.53, use_cocoeval_oks: bool = True) -> Tensor:0 时,该关键点可见。没有可见关键点的目标相似度为 0。当 use_cocoeval_oks 设置为 False 时,指数为 − d2i ⁄ (2(A**σi)2)。参考
- COCO 关键点评估:https://cocodataset.org/#keypoints-eval
pycocotools/cocoeval.py中的computeOks:https://github.com/cocodataset/cocoapi/blob/8c9bcc3cf640524c4c20a9c40e89cb6a2f2fa0e9/PythonAPI/pycocotools/cocoeval.py#L229
示例
Pycon
1>>> import torch
2>>> targets = torch.tensor([[[[0.5, 0.5, 2.0]]]])
3>>> sigmas = torch.tensor([0.05])
4>>> gt_bboxes = torch.tensor([[[0.0, 0.0, 1.0, 1.0]]])
5>>> exact = torch.tensor([[[[0.5, 0.5, 1.0]]]])
6>>> oks = compute_pose_oks(exact, targets, sigmas, gt_bboxes=gt_bboxes)
7>>> oks.round(decimals=3).tolist()
8[[[1.0]]]Pycon
1>>> far = torch.tensor([[[[5.0, 5.0, 1.0]]]])
2>>> oks = compute_pose_oks(far, targets, sigmas, gt_bboxes=gt_bboxes)
3>>> oks.round(decimals=3).tolist()
4[[[0.0]]]predictions(Tensor): 预测的关键点,形状为[N, M2, n_keypoints, 3]。函数只读取每个关键点的前两个值x和y。targets(Tensor): 目标关键点,形状为[N, M1, n_keypoints, 3],格式为(x, y, visibility)。sigmas(Tensor): 每个关键点一个 sigma,形状为[n_keypoints]。gt_bboxes(Tensor | None): 目标框,形状为[N, M1, 4],采用xyxy格式。它们的面积乘以area_factor即为姿态区域。函数仅在pose_area为None时读取它们。pose_area(Tensor | None): 每个目标的姿态区域,形状为[N, M1, 1, 1]。None表示从gt_bboxes计算。eps(float): 一个小的常数,函数将其添加到面积和可见计数中。它防止除以零。area_factor(float): 将框面积缩放到姿态区域的因子。use_cocoeval_oks(bool): 当为True时,使用 COCO 评估代码的公式。当为False时,使用上面的另一个公式。
Tensor: 相似度,形状为[N, M1, M2],范围为[0, 1]。
ValueError: 当pose_area和gt_bboxes都为None时。
get_center_keypoints
Python
1def get_center_keypoints(bboxes: Tensor, *, height: int = 1, width: int = 1) -> Tensor:示例
Pycon
1>>> import torch
2>>> bboxes = torch.tensor([[0.0, 1.0, 0.25, 0.5, 0.5, 0.25]])
3>>> get_center_keypoints(bboxes).tolist()
4[[0.0, 0.5, 0.625, 2.0]]
5>>> get_center_keypoints(bboxes, height=200, width=100).tolist()
6[[0.0, 50.0, 125.0, 2.0]]bboxes(Tensor): 边界框,形状为[N, 6],列为(batch_index, class, x, y, w, h)。x和y是归一化的左上角,w和h是归一化的大小。height(int): 缩放y的高度,例如图像或热图的高度。1保持坐标归一化。width(int): 缩放x的宽度,例如图像或热图的宽度。1保持坐标归一化。
Tensor: 关键点,形状为[N, 4],列为(batch_index, x, y, visibility),位于bboxes的设备和 dtype 上。x和y是按width和height缩放的框中心。可见性始终为2。
get_sigmas
Python
1def get_sigmas(sigmas: list[float] | None, n_keypoints: int, caller_name: str | None = None) -> Tensor:sigmas 为 None 时,函数选择默认值:- 对于
17个关键点,它返回 COCO 人体 sigma 并记录警告。 - 对于任何其他计数,它为每个关键点返回
0.04并记录信息消息。
示例
Pycon
1>>> get_sigmas([0.1, 0.2], 2).shape
2torch.Size([2])Pycon
1>>> get_sigmas([0.1], 2)
2Traceback (most recent call last):
3ValueError: The length of the sigmas list must be the same ...sigmas(list[float] | None): 每个关键点一个 sigma。None选择默认值。n_keypoints(int): 关键点的数量。caller_name(str | None): 调用者的名称,用作日志和错误消息的前缀。None不添加前缀。
Tensor: sigma,作为形状为[n_keypoints]的float32张量。
ValueError: 当给定sigmas且其长度与n_keypoints不同时。
insert_class
Python
1def insert_class(keypoints: Tensor, bboxes: Tensor) -> Tensor:示例
Pycon
1>>> import torch
2>>> keypoints = torch.tensor([[0.0, 0.5, 0.5, 2.0]])
3>>> bboxes = torch.tensor([[0.0, 3.0, 0.1, 0.1, 0.2, 0.2]])
4>>> insert_class(keypoints, bboxes).tolist()
5[[0.0, 3.0, 0.5, 0.5, 2.0]]keypoints(Tensor): 关键点,形状为[N, 1 + 3K],其中K是关键点的数量。批次索引在第一列,后跟(x, y, visibility)三元组。bboxes(Tensor): 边界框,形状为[N, 6],实例顺序相同,类别索引在第二列。
Tensor: 关键点,形状为[N, 2 + 3K],类别索引作为第二列插入。