DepthAI v2 has been superseded by DepthAI v3. You are viewing legacy documentation.
此页面由 AI 自动翻译。查看英文原版
最后更新

本页目录

  • 如何放置
  • 输入和输出
  • 用法
  • 功能示例
  • 参考
Claude CodeCodexCursor
Luxonis 智能体工具包为你常用的编程智能体加载 Luxonis 上下文与技能,更快地基于 OAK 开发应用。
安装工具包

YoloSpatialDetectionNetwork

最后更新
Yolo NN 的空间检测。它类似于 YoloDetectionNetwork 和 SpatialLocationCalculator 的组合。

如何放置

Python

Python
1pipeline = dai.Pipeline()
2yoloSpatial = pipeline.create(dai.node.YoloSpatialDetectionNetwork)

C++

C++
1dai::Pipeline pipeline;
2auto yoloSpatial = pipeline.create<dai::node::YoloSpatialDetectionNetwork>();

输入和输出

配置空间检测

SpatialDetectionNetwork 节点的管道在以下示意图中描述:
空间检测节点本质上只是检测网络(YoloDetectionNetwork 和 MobileNetDetectionNetwork)和 SpatialLocationCalculator 的抽象。它通过将每个检测到的对象的边界框链接到空间位置计算器来工作。过程如下:
检测网络负责检测输入帧中的对象。它输出一个检测到的对象列表,每个对象由一个边界框、标签和置信度分数表示。
深度图与输入帧对齐。这是必要的,因为检测网络在输入帧上操作,而空间位置计算器在深度图上操作。
来自网络的边界框被发送到 SpatialLocationCalculator 并根据 BoundingBoxScaleFactor 进行缩放。这样做是为了确保它包含整个对象。然后,边界框与深度一起用于计算对象的空间坐标。
  • X 和 Y 坐标取自边界框中心。它们根据与帧中心的偏移量和该点的深度计算。
  • 对于深度 (Z),考虑缩放边界框 (ROI) 内的每个像素。这为我们提供了一组深度值,然后将其平均以获得最终深度值。

平均方法

  • 平均值/均值:使用 ROI 的平均值进行计算。
  • 最小值:使用 ROI 内的最小值进行计算。
  • 最大值:使用 ROI 内的最大值进行计算。
  • 众数:使用 ROI 内最频繁的值进行计算。
  • 中位数:使用 ROI 内的中位数进行计算。
默认方法是中位数。

常见错误

大多数错误源于不正确的边界框重叠。缩放后的边界框可能包含背景的一部分,这会使深度计算产生偏差。
  • 细长物体(如杆子)的空间位置可能不准确,因为边界框中只有一小部分实际位于检测到的物体上。在这种情况下,如果可能,最好使用较小的 BoundingBoxScaleFactor。
  • 带孔的物体 - 环、圈等。为了获得正确的深度,边界框应包含整个物体。与其使用中位数深度,不如使用最小值深度方法来排除背景计算。或者,可以设置深度阈值以在静态环境中忽略背景。

用法

Python

Python
1pipeline = dai.Pipeline()
2yoloSpatial = pipeline.create(dai.node.YoloSpatialDetectionNetwork)
3yoloSpatial.setBlobPath(nnBlobPath)
4
5# Spatial detection specific parameters
6yoloSpatial.setConfidenceThreshold(0.5)
7yoloSpatial.input.setBlocking(False)
8yoloSpatial.setBoundingBoxScaleFactor(0.5)
9yoloSpatial.setDepthLowerThreshold(100) # Min 10 centimeters
10yoloSpatial.setDepthUpperThreshold(5000) # Max 5 meters
11
12# Yolo specific parameters
13yoloSpatial.setNumClasses(80)
14yoloSpatial.setCoordinateSize(4)
15yoloSpatial.setAnchors([10,14, 23,27, 37,58, 81,82, 135,169, 344,319])
16yoloSpatial.setAnchorMasks({ "side26": [1,2,3], "side13": [3,4,5] })
17yoloSpatial.setIouThreshold(0.5)

C++

C++
1dai::Pipeline pipeline;
2auto yoloSpatial = pipeline.create<dai::node::YoloSpatialDetectionNetwork>();
3yoloSpatial->setBlobPath(nnBlobPath);
4
5// Spatial detection specific parameters
6yoloSpatial->setConfidenceThreshold(0.5f);
7yoloSpatial->input.setBlocking(false);
8yoloSpatial->setBoundingBoxScaleFactor(0.5);
9yoloSpatial->setDepthLowerThreshold(100); // Min 10 centimeters
10yoloSpatial->setDepthUpperThreshold(5000); // Max 5 meters
11
12// yolo specific parameters
13yoloSpatial->setNumClasses(80);
14yoloSpatial->setCoordinateSize(4);
15yoloSpatial->setAnchors({10, 14, 23, 27, 37, 58, 81, 82, 135, 169, 344, 319});
16yoloSpatial->setAnchorMasks({{"side13", {3, 4, 5}}, {"side26", {1, 2, 3}}});
17yoloSpatial->setIouThreshold(0.5f);

功能示例

空间坐标系

OAK 摄像头对所有空间坐标均使用左手(笛卡尔)坐标系。
Spatial coordinate system
帧的中心在 X、Y 坐标上为 0,0。向上移动时,Y 会增加;向右移动时,X 会增加。

参考

需要帮助?

请访问讨论论坛以获取技术支持或您可能有的任何其他问题。