# 深度

深度让开发者获得基于公制的三维感知能力，适用于建图、测量、导航和空间 AI——所有计算均在设备本地完成，以实现低延迟和隐私保护。

OAK 设备支持两种深度方案：

 * [立体深度](#Stereo%20Depth)（RVC2、RVC4）——通过立体相机对计算深度：
   
   * [经典立体深度](#Classical%20Stereo%20Depth)——[StereoDepth](https://docs.luxonis.com/software-v3/depthai/depthai-components/nodes/stereo_depth.md)
     节点
   * [神经网络深度（LENS）](#%25E6%25B7%25B1%25E5%25BA%25A6-%25E7%25AB%258B%25E4%25BD%2593%25E6%25B7%25B1%25E5%25BA%25A6-Neural%2520Depth)（RVC4）——[NeuralDepth](https://docs.luxonis.com/software-v3/depthai/depthai-components/nodes/neural_depth.md)
     节点
   * [神经网络辅助的立体深度](#%25E6%25B7%25B1%25E5%25BA%25A6-%25E7%25AB%258B%25E4%25BD%2593%25E6%25B7%25B1%25E5%25BA%25A6-Neural%2520Assisted%2520Stereo)（RVC4）——[神经网络辅助的立体深度](https://docs.luxonis.com/software-v3/depthai/depthai-components/nodes/neural_assisted_stereo.md)
     节点

 * [飞行时间（ToF）](#ToF%20Depth)——在[配备 ToF
   的设备](https://docs.luxonis.com/hardware.md?f-tof=true)上实现主动测距。API：[ToF](https://docs.luxonis.com/software-v3/depthai/depthai-components/nodes/tof.md)
   节点；详细概览请见下一节。

为什么需要深度？

 1. 点云： 生成彩色点云用于建图、检测或重建。
 2. 空间 AI： 将深度与检测结果/关键点结合，获取 XYZ 坐标以进行抓取或避障。
 3. 导航： 将深度与语义信息配对，过滤障碍物并规划安全的室内/室外运动。

## 立体深度

| 方法 | 典型/理想使用场景 |
| --- | --- |
| **经典立体深度** | 高速机器人、精确距离测量、室外环境、纹理丰富的场景 |
| **神经网络深度（LENS）** | 人体或手部追踪、低纹理或反光挑战环境（如车库、仓库），最高视觉质量深度 |
| **神经网络辅助的立体深度** | 通用深度、料箱拣选、物体尺寸测量、需要兼顾鲁棒性和高细节的场景 |

### 经典立体深度

[立体深度](https://docs.luxonis.com/software-v3/depthai/depthai-components/nodes/stereo_depth.md)
通过比较两个相机视图并将像素差异三角化为真实世界的测量值来估计距离。OAK 相机提供[高精度](https://docs.luxonis.com/hardware/platform/depth/depth-accuracy.md)、
[可配置](https://docs.luxonis.com/hardware/platform/depth/configuring-stereo-depth.md)、 [RGB
对齐](https://docs.luxonis.com/software-v3/depthai/depthai-components/nodes/rgbd.md)的立体深度，能够生成密集的彩色点云。

### RVC2

### RVC4

#### 主要特性

 * 业界验证的基石：一种硬件加速的、经过充分理解和验证的经典立体算法——半全局块匹配（SGBM）的变体。
 * 性能：由于直接硬件实现，提供极高的吞吐量和低功耗。
 * 分辨率：支持高达 1280 像素水平分辨率，实现像素级精度的深度图。
 * 算法：实现了针对底层硅架构优化的代价聚合和视差计算策略。

| 优势 | 劣势 |
| --- | --- |
| **非常快** – 全分辨率下约 30 毫秒每帧 | **需要配置** – 不同场景需要不同模式 |
| **高效** – 计算资源占用极小，无 DSP 负载，低 CPU 负载 | **在低纹理区域表现不佳** – 立体匹配困难 |
| **高细节** – 能够检测非常小的物体并保留全分辨率深度 | |
| **高度可配置** – 针对特定用例提供大量调优参数 | |

### Neural Depth

搭载 [RVC4](https://docs.luxonis.com/hardware/platform/rvc/rvc4.md) 的 OAK4 设备在深度精度基础上进一步扩展，增加了设备上的 [Neural
Depth](https://docs.luxonis.com/software-v3/depthai/depthai-components/nodes/neural_depth.md)，它可以独立运行，也可以与 立体深度互补，在具有挑战性的场景中提升性能。

#### 主要特点

 * OAK立体神经网络深度模型，一种专有的OAK架构，采用了最先进的神经网络立体匹配技术。利用部分板载 AI 计算能力，使其可以完全在设备上运行
 * 机制：深度神经网络（DNN）
   * 输入：立体校正后的左图和右图
   * 输出：视差图、置信度图、边缘检测图
 * 分辨率：提供 5 种变体，从极小分辨率（快速）到全分辨率（慢速），以管理 DNN 推理固有的计算成本，允许用户根据用例选择最佳折衷方案。

| 优势 | 劣势 |
| --- | --- |
| **最佳视觉质量** – 产生最引人注目的深度图 | **更高延迟/更低帧率** – 针对较大模型 |
| **出色的对象分割能力** – 清晰地将对象与背景分离 | **小对象细节丢失** – 使用较小模型变体时，小对象可能融入背景 |
| **高填充率** – 生成密集的深度图，缺失区域极少 | **过度填充** – 远处区域（如天空）可能被错误地填充深度 |
| **是可用方法中整体深度误差最低的** | **高计算消耗** – 较大模型消耗大量 AI 处理资源 |
| **与被动立体设置兼容** | |

### Neural Assisted Stereo

为了兼顾两者优点，结合经典立体和神经立体： [Neural Assisted
Stereo](https://docs.luxonis.com/software-v3/depthai/depthai-components/nodes/neural_assisted_stereo.md)， 它将立体精度与学习的鲁棒性相结合。

#### RVC4（Neural Assisted Stereo）

#### 主要特点

 * 概念：来自较低分辨率神经立体输出的深度信息被直接注入立体算法的输入图像中，然后该算法对全分辨率数据执行特征匹配、代价聚合和视差精化步骤。
 * 生成高分辨率、密集的深度图，兼具硬件块的像素精度和神经网络的上下文精度。

| 优势 | 劣势 |
| --- | --- |
| **结合立体和神经优势** – 高分辨率、低延迟的立体，通过神经鲁棒性增强 | **潜在的幻觉** – 将神经先验与立体匹配结合可能引入错误的深度估计 |
| **灵活可调** – 可根据特定应用需求进行调整 | **视觉保真度低于 OAK立体神经网络深度** – 深度图不如 Neural Depth 产生的视觉上精细 |
| **小对象细节优于神经立体** | |
| **性能高于 Neural Depth** – 更快，能够生成更高分辨率的深度图 | |
| **强边缘精度** – 对象边界接近 Neural Depth 质量 | |
| **高效执行** – 低 DSP 和 CPU 负载 | |

## 飞行时间（ToF）深度

[ToF Depth](https://docs.luxonis.com/software-v3/depthai/depthai-components/nodes/tof.md)
使用调制光脉冲测量光子的往返飞行时间，在低纹理或弱光表面上提供可靠的测距，而立体匹配在这些场景下可能效果不佳。它只能用于[ToF设备](https://docs.luxonis.com/hardware.md?f-tof=true)。与立体匹配不同，ToF保持[随距离一致的误差轮廓](https://docs.luxonis.com/hardware/platform/depth/depth-accuracy.md)，在整个范围内提供可预测的精度，但代价是帧率较低。

### RVC2 ToF

### RVC4 ToF

## 深度自修复

如果立体深度失真（例如由于严重的机械冲击或校准漂移），DepthAI
提供了[动态校准](https://docs.luxonis.com/hardware/platform/depth/dynamic-calibration.md)，您可以使用它让相机持续“自修复”。此外，[自动校准](https://docs.luxonis.com/software-v3/depthai/depthai-components/host_nodes/auto_calibration.md)
是在[DepthAI 3.5.0
中引入的](https://docs.luxonis.com/software-v3/depthai/release-notes.md)。另外，您也可以选择[手动](https://docs.luxonis.com/hardware/platform/depth/manual-calibration.md)修复立体深度。

## 无需代码，使用应用商店快速入门

### OAK Viewer

OAK Viewer 是一个 GUI 应用程序，允许您通过实时可视化相机输出来轻松评估相机。您可以尝试以下方式：

 * [Luxonis Hub 上的 OAK Viewer](https://hub.luxonis.com/control/store/a_BVRxGDVXnoTrkd3NTB2RQa?view=page) 或
 * [在您的主机上安装它](https://docs.luxonis.com/software-v3/depthai/tools/oak-viewer.md)。

[在 Luxonis Hub 上打开](https://hub.luxonis.com/control/store/a_BVRxGDVXnoTrkd3NTB2RQa?view=page)

## 指南与示例

### StereoDepth示例

经典立体匹配，支持可配置模式

[StereoDepth示例](https://docs.luxonis.com/software-v3/depthai/examples/stereo_depth/stereo_depth.md)

### 神经辅助立体匹配

经典立体匹配，结合NeuralDepth提升性能

[神经辅助立体匹配](https://docs.luxonis.com/software-v3/depthai/examples/stereo_depth/neural_assisted_stereo.md)

### NeuralDepth示例

使用神经深度升级点云

[NeuralDepth示例](https://docs.luxonis.com/software-v3/depthai/examples/neural_depth/neural_depth.md)

### 飞行时间

从飞行时间传感器提取深度数据

[飞行时间](https://docs.luxonis.com/software-v3/depthai/depthai-components/nodes/tof.md)

### 需要帮助？

请前往 [OAKChina 官网](https://www.oakchina.cn/) 获取技术支持或解答您的任何疑问。