DepthAI v2 has been superseded by DepthAI v3. You are viewing legacy documentation.
此页面由 AI 自动翻译。查看英文原版
最后更新

本页目录

  • 用于定位和 SLAM 的设备端 SuperPoint
  • RAE 设备端 VIO & SLAM
  • 同步帧和 IMU 消息
  • 无人机设备端基于 NN 的定位
Claude CodeCodexCursor
Luxonis 智能体工具包为你常用的编程智能体加载 Luxonis 上下文与技能,更快地基于 OAK 开发应用。
安装工具包

VIO 和 SLAM

最后更新
OAK 摄像头也可用于定位(VIO)和 SLAM(同步定位与地图构建)。
  • RVC2:RVC2 上的计算能力——尤其是 CPU 性能——相当有限,因此对于 VIO/SLAM,您需要在主机上运行算法。
  • RVC3:由于它具有四核 ARM,您可以在摄像头本身上运行 VIO/SLAM 算法。请参阅 RAE 设备端 VIO & SLAM。
几个 SLAM 和定位项目支持 OAK 摄像头:

用于定位和 SLAM 的设备端 SuperPoint

一位客户与我们分享了一个解决方案,该方案在设备端(在 RVC2-based OAK-D 上)运行 SuperPoint(Github 仓库,Arxiv 论文)特征提取 NN,然后将这些特征用于定位和 SLAM(在主机上)。

RAE 设备端 VIO & SLAM

下面的演示展示了如何使用 Spectacular AI SDK 在设备端运行 VIO & SLAM。 视差匹配和特征提取 + 跟踪在 RVC3 上的加速块中完成。 然后将特征与视差结合起来,提供 VO 使用的跟踪 3D 点,Spectacular AI SDK 将其与 IMU 数据融合,以提供 精确的机器人定位。

同步帧和 IMU 消息

对于 VIO/SLAM 解决方案,您会希望将 IMU 消息与曝光的中间部分同步。有关曝光时间和时间戳,请参阅 帧捕获图 了解详细信息。请参阅此处 了解 IMU/帧同步演示。一些更高级的算法会权衡多个 IMU 消息(曝光前/后)并插值最终值。

无人机设备端基于 NN 的定位

一种使用 OAK 摄像头进行空间定位的新型 AI 方法。无人机运行设备端神经网络推理,以提供无人机的定位。 论文在此,Github 仓库在此。