DepthAI v2 has been superseded by DepthAI v3. You are viewing legacy documentation.
概览硬件软件云平台
DepthAI 组件
DepthAI 教程
DepthAI Perception
ROS
神经网络
DepthAI API 参考

本页目录

  • 设备端SuperPoint用于定位和SLAM
  • RAE 设备端VIO与SLAM
  • 同步帧与IMU消息
  • 无人机设备端基于神经网络的定位

VIO与SLAM

OAK相机也可用于定位（VIO）和 SLAM（同步定位与建图）。
  • RVC2：RVC2的计算能力——尤其是CPU性能——相当有限，因此对于VIO/SLAM，你需要在主机上运行算法。
  • RVC3：由于配备四核ARM处理器，你可以在相机本身上运行VIO/SLAM算法。详见RAE 设备端VIO与SLAM。
多个支持OAK相机的SLAM和定位项目：

设备端SuperPoint用于定位和SLAM

一位客户与我们分享了一个解决方案，该方案在设备端（基于RVC2的OAK-D）运行SuperPoint（GitHub仓库，Arxiv论文） 特征提取神经网络，然后将特征用于定位和SLAM（在主机上）。

RAE 设备端VIO与SLAM

下面的演示展示了如何通过Spectacular AI SDK在设备端运行VIO与SLAM。 视差匹配和特征提取+跟踪在RVC3的加速模块上完成。 然后将特征与视差结合，提供用于视觉里程计的跟踪3D点，Spectacular AI SDK将其与IMU数据融合， 以实现机器人的精确定位。

同步帧与IMU消息

对于VIO/SLAM解决方案，你需要将IMU消息同步到曝光中间时刻。有关曝光时序和时间戳的详细信息，请参见帧捕获图。 此处提供IMU/帧同步演示。一些更高级的算法会对多个IMU消息（曝光前后）加权，并插值出最终值。

无人机设备端基于神经网络的定位

一种新颖的AI空间定位方法，使用OAK相机。无人机在设备端运行神经网络推理以提供定位。 论文链接，GitHub仓库链接。