此页面由 AI 自动翻译。查看英文原版
行业示例
  • 电子
  • 机器人
  • 智慧城市与交通
最后更新

本页目录

  • 立体深度
  • 经典立体深度
  • RVC2
  • RVC4
  • GPUStereo
  • 神经深度
  • 神经辅助立体
  • 飞行时间 (ToF) 深度
  • RVC2 ToF
  • RVC4 ToF
  • 性能指标
  • RVC2 – 立体
  • RVC2 – TOF
  • RVC4 – 立体
  • RVC4 – 神经立体
  • RVC4 - 神经辅助立体
  • RVC4 - GPU 立体
  • 深度自修复
  • 无代码快速入门与应用商店
  • 指南和示例
Claude CodeCodexCursor
Luxonis 智能体工具包为你常用的编程智能体加载 Luxonis 上下文与技能,更快地基于 OAK 开发应用。
安装工具包
最后更新
深度为开发者提供了度量3D感知能力,用于测绘、测量、导航和空间AI——所有这些都在设备上计算,以实现低延迟和隐私保护。OAK设备支持两种深度系列:为什么我们需要深度?
  1. 点云: 生成彩色点云用于测绘、检查或重建。
  2. 空间AI: 将深度与检测/地标融合,以获取用于抓取或避障的XYZ目标。
  3. 导航: 将深度与语义配对,以过滤危险并规划室内/室外的安全移动。

立体深度

方法典型/理想用例
经典立体深度高速机器人、精确距离测量、室外环境、纹理丰富的场景
GPUStereo当深度必须在任意输入分辨率下运行时,RVC4上的高质量点云
神经深度 (LENS)人体或手部跟踪、低纹理或反射的挑战性环境(例如车库、仓库)、最高视觉质量深度
神经辅助立体通用深度、箱体拣选、物体尺寸测量、需要鲁棒性和高细节的场景

经典立体深度

立体深度 通过比较两个摄像机视图并将像素差异三角测量为真实世界测量来估计距离。OAK摄像机提供高精度、可配置、RGB对齐的立体深度,生成密集的彩色点云。

RVC2

RVC4

主要特点

  • 行业成熟基线:众所周知且理解的经典立体算法半全局块匹配(SGBM)的硬件加速变体
  • 性能:由于直接硬件实现,提供极高的吞吐量和低功耗。
  • 分辨率:支持高达1280像素的水平分辨率,用于像素级精确深度图。
  • 算法:实现了一种针对底层硅架构优化的成本聚合和视差计算策略
优点缺点
非常快 – 全分辨率下每帧约30毫秒需要配置 – 不同场景需要不同模式
高效 – 最小的计算使用,无DSP负载,低CPU负载在立体匹配困难的低纹理区域表现不佳
高细节 – 检测非常小的物体并保留全分辨率深度
高度可配置 – 针对特定用例的许多调整参数

GPUStereo

在RVC4上,GPUStereo为同步立体对增加了基于GPU的立体选项。其主要优点是它可以在任意输入分辨率下运行深度,这使其非常适合高质量点云生成。

主要特点

  • 概念:RVC4上基于GPU的立体深度,用于同步立体对。
  • 性能:通常以与经典立体深度相似的速度运行,同时增加了对任意输入分辨率的支持。
  • 分辨率:非常适合高质量点云和需要保留更多源图像细节的管道。
  • 输入和输出:接受实时摄像机输出或已校正的帧,并生成视差和深度。
优点缺点
任意输入分辨率 – 当点云质量取决于源细节时非常有用仅限RVC4 – 在早期平台不可用
与经典立体速度相似 – 保持熟悉的吞吐量配置文件配置表面较小 – 3.7.1中比StereoDepth的调整控制更少
灵活的管道适应性 – 适用于非标准或自定义立体输入分辨率仍然是立体匹配器 – 低纹理或反射场景仍然具有挑战性

神经深度

配备RVC4的OAK4设备在深度精度基础上,通过设备上的神经深度进行了扩展,神经深度可以独立运行,也可以作为立体深度的补充,以提高在挑战性场景中的性能。

主要特点

  • 概念:LENS(Luxonis Edge Neural Stereo)模型,一种专有的Luxonis架构,利用神经立体匹配的最新技术。它完全在设备上运行,利用了板载AI计算能力。
  • 机制:一个深度神经网络(DNN)
    • 输入:立体对校正后的左图像和校正后的右图像
    • 输出:视差图、置信度图、边缘检测图
  • 分辨率:提供5种变体,从非常小的分辨率(快)到全分辨率(慢),以管理DNN推理固有的计算成本,这允许用户根据其用例选择最佳权衡。
优点缺点
最佳视觉质量 – 生成视觉上最吸引人的深度图更高延迟/更低FPS – 对于大型模型
出色的物体分割 – 将物体与背景清晰分离小物体细节丢失 – 使用较小模型变体时,小物体可能与背景融合
高填充率 – 生成密集深度图,缺失区域最少过度填充 – 远距离区域(例如天空)可能被错误地填充深度
在可用方法中整体深度误差最低高计算使用率 – 大型模型消耗大量AI处理资源
适用于被动立体设置

神经辅助立体

为了兼顾两者的优点,结合了经典立体和神经立体: 神经辅助立体, 它将立体精度与学习到的鲁棒性相结合。

RVC4(神经辅助立体)

主要特点

  • 概念:将低分辨率神经立体输出的深度信息直接注入立体算法的输入图像中,然后进行全分辨率数据的特征匹配、成本聚合和视差细化步骤。
  • 性能:在RVC4上,VPP + 神经辅助立体的吞吐量可达50 FPS @ 1280x800。
  • 生成高分辨率、密集的深度图,受益于硬件块的像素精度和神经网络的上下文精度。
优点缺点
结合了立体和神经的优点 – 高分辨率、低延迟立体,通过神经鲁棒性增强潜在的幻觉 – 将神经先验与立体匹配结合可能会引入不正确的深度估计
灵活可调 – 可根据特定应用需求进行调整视觉保真度低于LENS – 深度图不如神经深度生成的视觉效果精细
比神经立体具有更好的小物体细节
比神经深度更高的性能 – 更快,能够生成更高分辨率的深度图
强大的边缘精度 – 物体边界接近神经深度质量
高效执行 – 低DSP和CPU负载

飞行时间 (ToF) 深度

ToF深度 使用调制光脉冲测量光子往返时间,在立体难以处理的低纹理或低光照表面上提供可靠的测距。它只能在ToF设备上使用。与立体不同,ToF在距离上保持一致的误差分布,在整个范围内提供可预测的精度。

RVC2 ToF

RVC4 ToF

性能指标

使用在设备上运行的BenchmarkIn节点测量,摄像机设置为目标FPS。请注意,如果帧输入速度快于方法处理速度,帧会排队,从而增加测量的延迟。

RVC2 – 立体

立体深度预设FPS @800PFPS @400P输出分辨率范围 (m)
默认16301/2 输入分辨率0–10
人脸16301/2 输入分辨率0–3
高细节16301/2 输入分辨率0–15
机器人16341/2 输入分辨率0–15
快速精度3090输入分辨率0–65
快速密度3090输入分辨率0–65
快速密度无亚像素50110输入分辨率0–65

RVC2 – TOF

平台分辨率平均FPS范围 (m)
ToF640×480800.2-5

RVC4 – 立体

预设分辨率平均FPS平均延迟
FAST_ACCURACY1280×8005344 毫秒
FAST_DENSITY1280×8003865 毫秒
FAST_ACCURACY640×4006035 毫秒
FAST_DENSITY640×4006039 毫秒

RVC4 – 神经立体

模型大小平均FPS平均延迟
192×1206030 毫秒
288×1806030 毫秒
384×240 (nano)6040 毫秒
480×300 (small)6050 毫秒
576×360 (medium)4360 毫秒
768×480 (large)2590 毫秒
864×54021100 毫秒
960×60016120 毫秒
1056×66014130 毫秒
1248×780 (extra_large)9.4165 毫秒

RVC4 - 神经辅助立体

平台分辨率平均FPS平均延迟
NAS 默认1280×8005471 毫秒

RVC4 - GPU 立体

平台分辨率平均FPS平均延迟
GPU 立体1280×8005430 毫秒
GPU 立体640×4006026 毫秒

深度自修复

如果立体深度因严重机械冲击或校准漂移而失真,DepthAI 提供动态校准,您可以设置摄像机持续“自修复”。此外,自动校准在DepthAI 3.5.0中引入。您还可以选择手动修复立体深度。

无代码快速入门与应用商店

OAK Viewer

OAK Viewer是一个GUI应用程序,允许您通过实时可视化其输出来轻松评估摄像机。您可以尝试:
在Luxonis Hub上打开
Depth Anything App

指南和示例

需要帮助?

请访问讨论论坛以获取技术支持或您可能有的任何其他问题。