Luxonis 智能体工具包为你常用的编程智能体加载 Luxonis 上下文与技能,更快地基于 OAK 开发应用。
安装工具包深度为开发者提供了度量3D感知能力,用于测绘、测量、导航和空间AI——所有这些都在设备上计算,以实现低延迟和隐私保护。OAK设备支持两种深度系列:为什么我们需要深度?- 点云: 生成彩色点云用于测绘、检查或重建。
- 空间AI: 将深度与检测/地标融合,以获取用于抓取或避障的XYZ目标。
- 导航: 将深度与语义配对,以过滤危险并规划室内/室外的安全移动。

| 经典立体深度 | 高速机器人、精确距离测量、室外环境、纹理丰富的场景 |
| GPUStereo | 当深度必须在任意输入分辨率下运行时,RVC4上的高质量点云 |
| 神经深度 (LENS) | 人体或手部跟踪、低纹理或反射的挑战性环境(例如车库、仓库)、最高视觉质量深度 |
| 神经辅助立体 | 通用深度、箱体拣选、物体尺寸测量、需要鲁棒性和高细节的场景 |
立体深度 通过比较两个摄像机视图并将像素差异三角测量为真实世界测量来估计距离。OAK摄像机提供高精度、可配置、RGB对齐的立体深度,生成密集的彩色点云。主要特点
- 行业成熟基线:众所周知且理解的经典立体算法半全局块匹配(SGBM)的硬件加速变体
- 性能:由于直接硬件实现,提供极高的吞吐量和低功耗。
- 分辨率:支持高达1280像素的水平分辨率,用于像素级精确深度图。
- 算法:实现了一种针对底层硅架构优化的成本聚合和视差计算策略
| 非常快 – 全分辨率下每帧约30毫秒 | 需要配置 – 不同场景需要不同模式 |
| 高效 – 最小的计算使用,无DSP负载,低CPU负载 | 在立体匹配困难的低纹理区域表现不佳 |
| 高细节 – 检测非常小的物体并保留全分辨率深度 | |
| 高度可配置 – 针对特定用例的许多调整参数 | |
在RVC4上,GPUStereo为同步立体对增加了基于GPU的立体选项。其主要优点是它可以在任意输入分辨率下运行深度,这使其非常适合高质量点云生成。主要特点
- 概念:RVC4上基于GPU的立体深度,用于同步立体对。
- 性能:通常以与经典立体深度相似的速度运行,同时增加了对任意输入分辨率的支持。
- 分辨率:非常适合高质量点云和需要保留更多源图像细节的管道。
- 输入和输出:接受实时摄像机输出或已校正的帧,并生成视差和深度。
| 任意输入分辨率 – 当点云质量取决于源细节时非常有用 | 仅限RVC4 – 在早期平台不可用 |
| 与经典立体速度相似 – 保持熟悉的吞吐量配置文件 | 配置表面较小 – 3.7.1中比StereoDepth的调整控制更少 |
| 灵活的管道适应性 – 适用于非标准或自定义立体输入分辨率 | 仍然是立体匹配器 – 低纹理或反射场景仍然具有挑战性 |
配备RVC4的OAK4设备在深度精度基础上,通过设备上的神经深度进行了扩展,神经深度可以独立运行,也可以作为立体深度的补充,以提高在挑战性场景中的性能。主要特点
- 概念:LENS(Luxonis Edge Neural Stereo)模型,一种专有的Luxonis架构,利用神经立体匹配的最新技术。它完全在设备上运行,利用了板载AI计算能力。
- 机制:一个深度神经网络(DNN)
- 输入:立体对校正后的左图像和校正后的右图像
- 输出:视差图、置信度图、边缘检测图
- 分辨率:提供5种变体,从非常小的分辨率(快)到全分辨率(慢),以管理DNN推理固有的计算成本,这允许用户根据其用例选择最佳权衡。
| 最佳视觉质量 – 生成视觉上最吸引人的深度图 | 更高延迟/更低FPS – 对于大型模型 |
| 出色的物体分割 – 将物体与背景清晰分离 | 小物体细节丢失 – 使用较小模型变体时,小物体可能与背景融合 |
| 高填充率 – 生成密集深度图,缺失区域最少 | 过度填充 – 远距离区域(例如天空)可能被错误地填充深度 |
| 在可用方法中整体深度误差最低 | 高计算使用率 – 大型模型消耗大量AI处理资源 |
| 适用于被动立体设置 | |
为了兼顾两者的优点,结合了经典立体和神经立体: 神经辅助立体, 它将立体精度与学习到的鲁棒性相结合。RVC4(神经辅助立体)
主要特点
- 概念:将低分辨率神经立体输出的深度信息直接注入立体算法的输入图像中,然后进行全分辨率数据的特征匹配、成本聚合和视差细化步骤。
- 性能:在RVC4上,
VPP + 神经辅助立体的吞吐量可达50 FPS @ 1280x800。 - 生成高分辨率、密集的深度图,受益于硬件块的像素精度和神经网络的上下文精度。
| 结合了立体和神经的优点 – 高分辨率、低延迟立体,通过神经鲁棒性增强 | 潜在的幻觉 – 将神经先验与立体匹配结合可能会引入不正确的深度估计 |
| 灵活可调 – 可根据特定应用需求进行调整 | 视觉保真度低于LENS – 深度图不如神经深度生成的视觉效果精细 |
| 比神经立体具有更好的小物体细节 | |
| 比神经深度更高的性能 – 更快,能够生成更高分辨率的深度图 | |
| 强大的边缘精度 – 物体边界接近神经深度质量 | |
| 高效执行 – 低DSP和CPU负载 | |
ToF深度 使用调制光脉冲测量光子往返时间,在立体难以处理的低纹理或低光照表面上提供可靠的测距。它只能在ToF设备上使用。与立体不同,ToF在距离上保持一致的误差分布,在整个范围内提供可预测的精度。使用在设备上运行的BenchmarkIn节点测量,摄像机设置为目标FPS。请注意,如果帧输入速度快于方法处理速度,帧会排队,从而增加测量的延迟。| 默认 | 16 | 30 | 1/2 输入分辨率 | 0–10 |
| 人脸 | 16 | 30 | 1/2 输入分辨率 | 0–3 |
| 高细节 | 16 | 30 | 1/2 输入分辨率 | 0–15 |
| 机器人 | 16 | 34 | 1/2 输入分辨率 | 0–15 |
| 快速精度 | 30 | 90 | 输入分辨率 | 0–65 |
| 快速密度 | 30 | 90 | 输入分辨率 | 0–65 |
| 快速密度无亚像素 | 50 | 110 | 输入分辨率 | 0–65 |
| FAST_ACCURACY | 1280×800 | 53 | 44 毫秒 |
| FAST_DENSITY | 1280×800 | 38 | 65 毫秒 |
| FAST_ACCURACY | 640×400 | 60 | 35 毫秒 |
| FAST_DENSITY | 640×400 | 60 | 39 毫秒 |
| 192×120 | 60 | 30 毫秒 |
| 288×180 | 60 | 30 毫秒 |
| 384×240 (nano) | 60 | 40 毫秒 |
| 480×300 (small) | 60 | 50 毫秒 |
| 576×360 (medium) | 43 | 60 毫秒 |
| 768×480 (large) | 25 | 90 毫秒 |
| 864×540 | 21 | 100 毫秒 |
| 960×600 | 16 | 120 毫秒 |
| 1056×660 | 14 | 130 毫秒 |
| 1248×780 (extra_large) | 9.4 | 165 毫秒 |
| GPU 立体 | 1280×800 | 54 | 30 毫秒 |
| GPU 立体 | 640×400 | 60 | 26 毫秒 |
如果立体深度因严重机械冲击或校准漂移而失真,DepthAI 提供动态校准,您可以设置摄像机持续“自修复”。此外,自动校准在DepthAI 3.5.0中引入。您还可以选择手动修复立体深度。需要帮助?
请访问讨论论坛以获取技术支持或您可能有的任何其他问题。