深度让开发者获得基于公制的三维感知能力，适用于建图、测量、导航和空间 AI——所有计算均在设备本地完成，以实现低延迟和隐私保护。OAK 设备支持两种深度方案：为什么需要深度？- 点云： 生成彩色点云用于建图、检测或重建。
- 空间 AI： 将深度与检测结果/关键点结合，获取 XYZ 坐标以进行抓取或避障。
- 导航： 将深度与语义信息配对，过滤障碍物并规划安全的室内/室外运动。
| 经典立体深度 | 高速机器人、精确距离测量、室外环境、纹理丰富的场景 |
| 神经网络深度（LENS） | 人体或手部追踪、低纹理或反光挑战环境（如车库、仓库），最高视觉质量深度 |
| 神经网络辅助的立体深度 | 通用深度、料箱拣选、物体尺寸测量、需要兼顾鲁棒性和高细节的场景 |
立体深度 通过比较两个相机视图并将像素差异三角化为真实世界的测量值来估计距离。OAK 相机提供高精度、 可配置、 RGB 对齐的立体深度，能够生成密集的彩色点云。主要特性
- 业界验证的基石：一种硬件加速的、经过充分理解和验证的经典立体算法——半全局块匹配（SGBM）的变体。
- 性能：由于直接硬件实现，提供极高的吞吐量和低功耗。
- 分辨率：支持高达 1280 像素水平分辨率，实现像素级精度的深度图。
- 算法：实现了针对底层硅架构优化的代价聚合和视差计算策略。
| 非常快 – 全分辨率下约 30 毫秒每帧 | 需要配置 – 不同场景需要不同模式 |
| 高效 – 计算资源占用极小，无 DSP 负载，低 CPU 负载 | 在低纹理区域表现不佳 – 立体匹配困难 |
| 高细节 – 能够检测非常小的物体并保留全分辨率深度 | |
| 高度可配置 – 针对特定用例提供大量调优参数 | |
主要特点
- OAK立体神经网络深度模型，一种专有的OAK架构，采用了最先进的神经网络立体匹配技术。利用部分板载 AI 计算能力，使其可以完全在设备上运行
- 机制：深度神经网络（DNN）
- 输入：立体校正后的左图和右图
- 输出：视差图、置信度图、边缘检测图
- 分辨率：提供 5 种变体，从极小分辨率（快速）到全分辨率（慢速），以管理 DNN 推理固有的计算成本，允许用户根据用例选择最佳折衷方案。
| 最佳视觉质量 – 产生最引人注目的深度图 | 更高延迟/更低帧率 – 针对较大模型 |
| 出色的对象分割能力 – 清晰地将对象与背景分离 | 小对象细节丢失 – 使用较小模型变体时，小对象可能融入背景 |
| 高填充率 – 生成密集的深度图，缺失区域极少 | 过度填充 – 远处区域（如天空）可能被错误地填充深度 |
| 是可用方法中整体深度误差最低的 | 高计算消耗 – 较大模型消耗大量 AI 处理资源 |
| 与被动立体设置兼容 | |
RVC4（Neural Assisted Stereo）
主要特点
- 概念：来自较低分辨率神经立体输出的深度信息被直接注入立体算法的输入图像中，然后该算法对全分辨率数据执行特征匹配、代价聚合和视差精化步骤。
- 生成高分辨率、密集的深度图，兼具硬件块的像素精度和神经网络的上下文精度。
| 结合立体和神经优势 – 高分辨率、低延迟的立体，通过神经鲁棒性增强 | 潜在的幻觉 – 将神经先验与立体匹配结合可能引入错误的深度估计 |
| 灵活可调 – 可根据特定应用需求进行调整 | 视觉保真度低于 OAK立体神经网络深度 – 深度图不如 Neural Depth 产生的视觉上精细 |
| 小对象细节优于神经立体 | |
| 性能高于 Neural Depth – 更快，能够生成更高分辨率的深度图 | |
| 强边缘精度 – 对象边界接近 Neural Depth 质量 | |
| 高效执行 – 低 DSP 和 CPU 负载 | |
ToF Depth 使用调制光脉冲测量光子的往返飞行时间，在低纹理或弱光表面上提供可靠的测距，而立体匹配在这些场景下可能效果不佳。它只能用于ToF设备。与立体匹配不同，ToF保持随距离一致的误差轮廓，在整个范围内提供可预测的精度，但代价是帧率较低。
如果立体深度失真（例如由于严重的机械冲击或校准漂移），DepthAI 提供了动态校准，您可以使用它让相机持续“自修复”。此外，自动校准 是在DepthAI 3.5.0 中引入的。另外，您也可以选择手动修复立体深度。
