DepthAI v2 has been superseded by DepthAI v3. You are viewing legacy documentation.
此页面由 AI 自动翻译。查看英文原版
最后更新

本页目录

  • 神经网络推理与深度图融合
  • 3D 物体定位
  • 3D 地标定位
  • 语义深度
  • 立体神经网络推理
Claude CodeCodexCursor
Luxonis 智能体工具包为你常用的编程智能体加载 Luxonis 上下文与技能,更快地基于 OAK 开发应用。
安装工具包

空间人工智能

最后更新
空间人工智能允许机器人或计算机像人类一样感知世界——物体或特征是什么,以及它们在物理世界中的位置。DepthAI 平台通过将 神经网络与 深度感知融合到 OAK 摄像头本身来利用空间人工智能。实现 AI + 深度融合有几种不同的方法:
  1. 神经网络推理与深度图融合
  2. 语义深度
  3. 立体神经网络推理

神经网络推理与深度图融合

DepthAI 可以将神经网络推理(物体/地标检测)结果与深度图融合,以估计场景中所有物体/地标的空间坐标 (XYZ)。这种技术非常适合现有的(预训练的)2D 物体/特征检测器,因为它在彩色/单色帧上运行推理,并使用生成的边界框来确定 ROI(感兴趣区域)。然后 DepthAI 平均这些 ROI 内深度图的深度,并从中计算空间坐标。

3D 物体定位

首先,让我们定义什么是 物体检测。它是指在图像的像素空间(即像素坐标)中找到感兴趣物体的边界框的技术术语。
物体检测
3D 物体定位(或 3D 物体检测)旨在在物理空间而不是像素空间中找到物体。它在实时测量或与物理世界交互时非常有用。下面是物体检测和 3D 物体定位之间差异的可视化:
空间人工智能可视化
DepthAI 扩展了这些 2D 神经网络(例如 MobileNet、Yolo),并添加了空间信息,赋予它们 3D 上下文。
物体定位
在上图中,DepthAI 应用程序在 RGB 摄像头流上运行 MobileNet 物体检测器,并将其与深度图 [RGB-D] 融合,以估计每个检测到的物体的 3D 位置(有关更多详细信息,请参阅 MobileNetSpatialDetectionNetwork 节点)。

3D 地标定位

地标定位也发生类似的过程。在这里,神经网络检测的是地标(手/位置/特征),而不是单独的物体。一个例子是 DepthAI 上的手部地标检测器(下面的演示)。使用普通摄像头,该网络返回所有 21 个手部地标(手指所有关节的轮廓)的 2D (XY) 坐标。使用 DepthAI 的同一网络,这 21 个手部地标现在是物理空间中的 3D 点,而不是像素空间中的 2D 点。
手部地标检测
演示:手部地标(上图)、人体姿态地标 和 面部地标 检测演示。

语义深度

自主机器人导航/执行中的一个经典问题是未知物体。已知物体是在安装前指定会遇到的——例如工具、其他机器、工人、设备和设施。我们无法预测未知物体——包括那些不可知或从未见过的物体。训练物体检测器足以应对已知物体,因为这是一种“积极”的物体检测形式:“路径中有堆积物,停止。”“路径中有铲子,停止。”等等。这种通用的避障场景需要一个“消极”的物体检测系统,而一个非常有效的技术是使用 RGB、深度或 RGB+深度 的语义分割。
分割
在这种“消极”系统中,语义分割系统在所有非物体表面上进行训练。因此,任何不是该表面的东西都被视为物体——允许导航知道其位置并采取相应的行动(停止、绕行、掉头等)。因此,语义深度对于避障和导航规划应用非常有价值。在上图中,一个人体语义分割模型正在 RGB 帧上运行,并根据结果裁剪深度图,只包含人的深度。
在上面的例子中,自主割草机只会绕着草地导航,避开其他所有东西(树木、树根、沙井、路径等)。

立体神经网络推理

在此模式下,神经网络推理(地标检测)在左和右摄像头上运行,以产生立体推理结果。与单目神经网络推理与立体深度融合不同,没有最大视差搜索限制——因此最小距离纯粹受限于(a)立体摄像头本身的水平视场(HFOV)和(b)摄像头的超焦距(物体聚焦的最小距离)中的较大者。在我们从左右摄像头获得地标的 2D 位置后,我们可以计算结果的视差,然后通过校准的摄像头内参进行三角测量,以给出所有检测到的特征的 3D 位置。
三角测量演示
有关更多信息,请查看 立体神经网络推理演示。示例包括查找以下内容的 3D 位置:
  • 面部地标(眼睛、耳朵、鼻子、嘴角等)
  • 产品上的特征(螺丝孔、瑕疵等)
  • 人体关节(例如,肘部、膝盖、臀部等)
  • 车辆上的特征(例如后视镜、前灯等)
  • 植物上的害虫或疾病(即,对于物体检测 + 立体深度来说太小的特征)
此模式不需要神经网络使用深度数据进行训练。DepthAI 采用标准的现成 2D 网络(这些网络更为常见),并使用这种立体推理来产生准确的 3D 结果。

需要帮助?

请访问讨论论坛以获取技术支持或您可能有的任何其他问题。