配置立体深度
最后更新
立体深度视觉 通过计算从略微不同的点拍摄的两幅图像之间的视差来工作。立体视觉的工作原理与我们的眼睛非常相似。我们的大脑(潜意识地)根据左眼和右眼看到的东西之间的差异来估计物体和场景的深度。在 OAK-D 摄像头上,情况完全相同;我们有左右摄像头(立体摄像头对),OAK 在设备上进行视差匹配以估计物体和场景的深度。视差是指立体对的左右图像中两个对应点之间的距离。
我们首先看看深度是如何计算的:焦距是相机镜头和图像传感器之间的距离。焦距越大,视场角越窄。您可以从校准中读取相机的焦距(以像素为单位),请参阅 此处校准转储。该值本身因相机型号和分辨率而异。推荐方法: 使用 ImgTransformations 获取内参矩阵,因为它是应用于图像帧的实际变换的主要真实来源:替代方法: 您也可以从校准中读取相机的焦距:像素焦距写在相机内参中(视差和深度成反比。随着视差的减小,深度会根据基线和焦距呈指数增长。这意味着,如果视差值接近零,那么视差的微小变化会产生深度的巨大变化。同样,如果视差值很大,那么视差的一些变化不会导致深度的巨大变化(更好的精度)。以下是 OAK-D(7.5 厘米基线距离)在 800P 下的视差与深度关系图:
完整图表在此请注意,深度数据的值存储在 uint16 中,其中 0 表示距离无效/未知。从上面的深度公式可以看出,更大的基线距离或更大的焦距都会在相同的视差下产生更远的深度,这意味着深度精度会更好。因此,要获得长距离深度感知,您可以增加基线距离和/或减小视场角。如果近距离物体的深度结果看起来很奇怪,这可能是因为它们低于设备的最小深度感知距离。您可以计算最小立体深度距离,例如 OAK-D 的基线为 7.5 厘米,像素焦距为 882.5 像素,disparity_in_pixels 的默认最大值为 95(请记住它与此成反比,因此最大值将产生最小结果)。我们有:或大约 70 厘米。但是,通过以下选项,此距离可以减半(对于 OAK-D 约为 35 厘米):或大约 35 厘米。有关如何启用扩展视差的示例,请参阅 这些示例。从 从视差计算深度 部分的图表中可以清楚地看出,在 95 视差像素(近距离)处,视差像素之间的深度变化(例如 95->94)最小,因此深度精度最佳。
深度精度随与相机的距离呈指数下降。请注意,启用 立体亚像素模式 可以获得更好的深度精度(即使在更长的距离),但它只在一定程度上有效。因此,总而言之,您正在测量的物体/场景应该尽可能靠近相机 MinZ(最小深度感知),以获得最佳深度精度。您可以在 硬件文档 中找到每个设备的 MinZ 规格。最大深度感知距离取决于 基线距离和焦距如何影响深度。用于计算此距离的公式是一个近似值,但如下所示:因此,使用此公式计算现有模型的理论最大距离为:如果需要更高精度的长距离测量,请考虑启用亚像素视差或使用单目相机之间更大的基线距离。对于自定义基线,您可以考虑使用 OAK-FFC 设备或设计您自己的具有所需基线的底板 PCB。有关更多信息,请参阅 当前可配置块 中立体模式选项卡下的亚像素视差。

从视差计算深度
depth_cm- 深度(厘米)fx_px- 焦距(像素)baseline_cm- 立体摄像头对的两个摄像头之间的距离disparity_px- 视差(像素)
焦距
Python
1import depthai as dai
2
3# 从 ImgTransformations 获取内参(推荐)
4disparity = disparityQueue.get() # 或 depthQueue.get()
5intrinsics = disparity.getTransformation().getSourceIntrinsicMatrix()
6print('像素焦距:', intrinsics[0][0])Python
1import depthai as dai
2
3with dai.Device() as device:
4 calibData = device.readCalibration()
5 intrinsics = calibData.getCameraIntrinsics(dai.CameraBoardSocket.CAM_C)
6 print('右单目相机像素焦距:', intrinsics[0][0])intrinsics[0][0]):视差

基线距离和焦距如何影响深度
更宽的视场角会导致更差的深度精度,即使在较短的距离(精度下降不那么明显)也是如此。
最小立体深度距离
- 将分辨率更改为 640x400,而不是标准的 1280x800。
- 启用扩展视差。
Python
1min_distance = focal_length_in_pixels * baseline / disparity_in_pixels = 882.5 * 7.5cm / 190 = 34.84cm可以同时应用这两个选项,这将使最小深度设置为标准设置的 1/4,但在如此短的距离下,最小深度受焦距限制,即 19.6 厘米,因为 OAK-D 单目相机具有固定焦距:19.6 厘米 - 无限远。
将相机移近物体

最大立体深度距离
Python
1Dm = (baseline/2) * tan((90 - HFOV / HPixels)*pi/180)Python
1# 对于 OAK-D(7.5 厘米基线)
2Dm = (7.5/2) * tan((90 - 71.9/1280)*pi/180) = 3825.03 厘米 = 38.25 米
3
4# 对于 OAK-D-CM4(9 厘米基线)
5Dm = (9/2) * tan((90 - 71.9/1280)*pi/180) = 4590.04 厘米 = 45.9 米StereoDepth 节点提供了几个配置文件预设,可用于快速配置节点以适应不同的场景。每个预设都应用了针对特定用例优化的特定过滤器和参数组合。有关每个预设的 FPS 性能信息,请参阅 平台特定配置。RVC4 支持以下预设:有关过滤器的详细信息,请参阅 平台特定配置。ACCURACY 预设:大多数参数在所有 RVC4 预设中都是一致的:
RVC4
可用预设
- ACCURACY:优先考虑深度精度而非填充率,以实现精确的深度测量
- DENSITY:优先考虑填充率和处理速度,以实现更高帧率的密集深度图
预设特定差异
- 扩展视差:
True - 亚像素:
True(4 位,RVC4 固定) - 软件左右检查:
False - 中值滤波器:
MEDIAN_OFF - 空间滤波器:
enable=False - 斑点滤波器:
enable=True,speckleRange=200,differenceThreshold=2 - 时间滤波器:
enable=False - 抽取滤波器:
decimationFactor=1(禁用),decimationMode=NON_ZERO_MEAN - 自适应中值滤波器:
enable=True,confidenceThreshold=200 - 孔洞填充:
enable=True,highConfidenceThreshold=240,fillConfidenceThreshold=251,minValidDisparity=1 - 置信度阈值:
97 - 置信度指标:
- 遮挡置信度权重:
14 - 运动矢量置信度权重:
16 - 运动矢量置信度阈值:
1 - 平坦度置信度权重:
2 - 平坦度置信度阈值:
4 - 平坦度覆盖:
False
- 遮挡置信度权重:
- Census 变换:
noiseThresholdOffset=0,noiseThresholdScale=84 - 阈值滤波器:
minRange=0,maxRange=65535 - 亮度滤波器:
minBrightness=0,maxBrightness=256
- 扩展视差:
True - 亚像素:
True(4 位,RVC4 固定) - 软件左右检查:
True(阈值:4) - 中值滤波器:
KERNEL_5x5 - 空间滤波器:
enable=False - 斑点滤波器:
enable=True,speckleRange=200,differenceThreshold=2 - 时间滤波器:
enable=False - 抽取滤波器:
decimationFactor=1(禁用),decimationMode=PIXEL_SKIPPING - 自适应中值滤波器:
enable=True,confidenceThreshold=200 - 孔洞填充:
enable=False - 置信度阈值:
20 - 置信度指标:
- 遮挡置信度权重:
28 - 运动矢量置信度权重:
0 - 运动矢量置信度阈值:
1 - 平坦度置信度权重:
4 - 平坦度置信度阈值:
4 - 平坦度覆盖:
False
- 遮挡置信度权重:
- Census 变换:
noiseThresholdOffset=0,noiseThresholdScale=-40 - 阈值滤波器:
minRange=0,maxRange=65535 - 亮度滤波器:
minBrightness=-1,maxBrightness=256
常用参数
- 亚像素:4 位 (RVC4 固定)
- 扩展视差:
True - 空间滤波器:
enable=False - 斑点滤波器:
enable=True,speckleRange=200,differenceThreshold=2 - 时间滤波器:
enable=False - 抽取滤波器:
decimationFactor=1(禁用) - 自适应中值滤波器:
enable=True,confidenceThreshold=200 - 阈值滤波器:
minRange=0,maxRange=65535
我们注意到与立体深度质量相关的几个主题是:由于立体匹配算法的工作方式,被动立体深度需要场景中具有良好的纹理,否则深度将是嘈杂/无效的。低视觉兴趣表面(几乎没有纹理的空白表面),例如墙壁或地板。解决方案: 我们的 OAK Pro 版 OAK 相机板载 红外激光点投影仪, 它在场景上投射数千个小点,这有助于立体匹配算法,因为它为场景提供了更多纹理。
我们使用的技术称为 ASV(传统主动立体视觉), 因为立体匹配在设备上以与被动立体 OAK-D 相同的方式执行。计算视差时,立体匹配算法会为视差图中的每个像素分配一个 如果输入的左右图像有噪声,视差图也会有噪声。因此,良好深度的先决条件是高质量(参见 图像质量 文档)的左右立体图像。主动立体(OAK 相机的 OAK Pro 版本)在很大程度上缓解了这个问题,但对于被动立体相机,您可以采取一些措施来提高立体相机对的质量。最好使用单色(灰度)相机作为立体相机对,因为它们具有更好的量子效率(QE),因为它们没有彩色(拜耳)滤镜。更高的 QE 意味着在相同光量(光子)下会产生更多的信号,从而导致更好的信噪比(SNR)。为了获得更好的低光性能,建议使用更长的曝光时间而不是更高的增益(ISO),因为它会提高信噪比。有时这意味着降低相机 FPS - 在 30 FPS 时,您可以使用 1/30 秒的曝光时间,在 15 FPS 时,您可以使用 1/15 秒的曝光时间,等等。有关更多信息,请参阅 低光增强灵敏度。另一个潜在的改进是调整传感器的 ISP 设置,例如色度与亮度降噪和锐度。有关更多信息,请参阅 彩色相机 ISP 配置。StereoDepth 节点 有几个在设备上运行的后处理滤波器,可以启用它们来提高视差图的质量。有关实现(API)详细信息,请参阅 StereoDepth 可配置块。由于这些滤波器在设备上运行,因此会产生一定的性能成本, 这意味着在高分辨率帧(1MP)下,这些滤波器可能会成为 FPS 的瓶颈。为了降低成本,应考虑使用较低分辨率的帧(例如 400P)和/或使用 抽取滤波器。由于额外的处理,这些 滤波器还会引入 额外的延迟。这是一种非边缘保留中值滤波器,可用于减少噪声并平滑深度图。中值滤波器在硬件中实现,因此它是最快的滤波器。斑点滤波器用于减少斑点噪声。斑点噪声是相邻视差/深度像素之间方差巨大的区域,斑点滤波器试图过滤此区域。时间滤波器旨在通过根据前一帧操纵每像素值来提高深度数据的持久性。该滤波器对数据执行单次通过,调整深度值,同时更新跟踪历史记录。在像素数据缺失或无效的情况下,滤波器使用用户定义的持久性模式来决定是否应使用存储的数据改进缺失值。请注意,由于其对历史数据的依赖,滤波器可能会引入可见的运动模糊/拖影伪影,因此最适合静态场景。空间边缘保留滤波器将用有效的相邻深度像素填充无效的深度像素。它执行一系列一维水平和垂直通过或迭代,以增强重建数据的平滑度。它基于 这篇研究论文。亮度滤波器将过滤掉(通过设置为 0 使其无效)所有输入立体相机图像像素超出配置的最小/最大亮度阈值范围的深度像素。当您有高动态范围场景时,例如在晴朗的户外,或者通常当立体相机对可以直接看到光源时,此滤波器非常有用:
它还有助于校正“伪影”,特别是当您有广角镜头并应用 alpha 参数时。当没有可用像素时,StereoDepth 节点默认会将该区域设置为 0(黑色),但可以通过 
阈值滤波器将过滤掉所有超出配置的最小/最大阈值范围的深度像素。在受控环境中,如果您确切知道场景的距离(例如 30 厘米 - 2 米),建议使用此滤波器。抽取滤波器将对深度图进行子采样,这意味着它会降低深度场景的复杂性,并允许其他滤波器运行得更快。将 decimationFactor 设置为 2 将把 1280x800 深度图缩小到 640x400。我们可以选择像素跳过、中值或均值抽取模式,后两种模式也有助于过滤。decimationFactor 1 禁用滤波器。它对于 点云 也非常有用。过滤器的顺序很重要,因为一个滤波器的输出是下一个滤波器的输入。过滤器的顺序是可定制的,可以通过以下方式设置:
场景纹理

立体深度置信度阈值
0..255 的置信度值。 此置信度分数是反向的(例如,与 NN 置信度进行比较时):- 0 - 最大置信度,表示它包含有效值
- 255 - 最小置信度,因此值不正确的可能性更大
Python
Python
1# 创建 StereoDepth 节点
2stereo_depth = pipeline.create(dai.node.StereoDepth)
3stereo_depth.initialConfig.setConfidenceThreshold(threshold)
4
5# 或者,设置立体预设模式:
6# 优先填充率,将置信度阈值设置为 245
7stereo_depth.setDefaultProfilePreset(dai.node.StereoDepth.PresetMode.HIGH_DENSITY)
8# 优先精度,将置信度阈值设置为 200
9stereo_depth.setDefaultProfilePreset(dai.node.StereoDepth.PresetMode.HIGH_ACCURACY)立体相机对噪声
立体后处理滤波器
如果管道抱怨 shave/内存分配,请尝试使用
setPostProcessingHardwareResources(n_shaves, n_cmx) --> stereoDepth.setPostProcessingHardwareResources(3, 3) 增加后处理中使用的硬件资源。中值滤波器
斑点滤波器
时间滤波器
空间滤波器
亮度滤波器
直射光源(吸顶灯)- 深度像素无效

stereoDepth.setRectifyEdgeFillColor(int8) 进行更改。然后可以使用亮度滤波器使此黑色区域无效,如下所示:使校正“伪影”处的深度无效

阈值滤波器
抽取滤波器
过滤顺序
Python
1config.postProcessing.filteringOrder = [
2 dai.RawStereoDepthConfig.PostProcessing.Filter.TEMPORAL,
3 dai.RawStereoDepthConfig.PostProcessing.Filter.SPECKLE,
4 dai.RawStereoDepthConfig.PostProcessing.Filter.SPATIAL,
5 dai.RawStereoDepthConfig.PostProcessing.Filter.MEDIAN,
6 dai.RawStereoDepthConfig.PostProcessing.Filter.DECIMATION
7]上一章我们重点讨论了噪声,但这不一定是深度不准确的唯一原因。有几种方法可以提高深度精度:我们首先从立体亚像素模式是什么以及它是如何工作的开始。 有关图像亚像素的解释,请参阅 什么是亚像素?。计算视差深度时,立体匹配算法为每个视差像素分配一个“置信度”分数,这意味着深度图像的每个像素包含 96 字节(用于置信度)。如果您对所有这些成本值感兴趣,可以使用 
立体亚像素模式将通过查看每个方向上 2 个相邻视差像素的置信度值来计算亚像素视差。在上面的示例图中,在正常模式下,StereoDepth 只会获得最大视差 = 34 像素,但在亚像素模式下,它会返回更多,例如 34.375 像素,因为像素 35 和 36 的置信度也相当高。总结: 立体亚像素模式应始终提供更准确的深度,但会消耗额外的硬件资源 (有关影响,请参阅 立体深度 FPS)。默认立体深度输出具有 0..95 视差像素,这将产生 96 个唯一的深度值。这在使用点云表示时尤其明显,可以看到存在离散的“点层”,而不是平滑的过渡:
这种分层在较长距离处尤其明显,这些层之间的距离呈指数级增加。但是,启用立体亚像素模式后,可以有更多独特的数值,这会产生更精细的深度步长,从而使点云更平滑。
可以通过将
立体亚像素模式
立体深度管道非常复杂(参见 StereoDepth 节点的内部框图),我们将在此处简化它以便更好地理解。它实际上不使用置信度(例如
stereoDepth.confidenceMap 输出),而是使用成本转储,这是用于计算置信度值的内容。stereoDepth.debugDispCostDump 输出,但请注意它是一个非常大的输出(例如,每个帧 1280*800*96 => 98MB)。
立体亚像素对分层的影响

| 亚像素小数位 | 唯一值数量 |
|---|---|
| 3 | 754 |
| 4 | 1506 |
| 5 | 3010 |
stereoDepth.setSubpixelFractionalBits(int) 参数设置为 3、4 或 5 位来更改亚像素位数。要获得准确的短距离深度,您首先需要遵循 提高深度精度 步骤。对于大多数正常视场角、OV9282 OAK-D* 相机,您会希望物体/场景距离相机约 70 厘米,此时误差低于 2%(在 良好的 场景纹理 下),即 ± 1.5 厘米误差。但是如何获得更好的深度精度,例如亚厘米级立体深度精度?正如我们在 基线距离和焦距如何影响深度 中学到的, 我们希望有更近的基线距离和/或更窄的视场角镜头。这就是为什么对于短距离深度感知,我们建议使用 OAK-D SR 或 OAK-D ToF, 因为它们具有 2 厘米的基线距离、800P 分辨率,并且非常适合 1 米以内的深度感应。回到 从视差计算深度,最小深度感知 (MinZ)由以下公式定义,其中视差为 95 像素(视差搜索的最大像素数):如果近距离物体的深度结果看起来很奇怪,这可能是因为它们低于 OAK 相机的 MinZ 距离。您可以通过以下方式降低 OAK 相机的 MinZ:上面我们有 MinZ 的公式,通过降低分辨率,我们降低了焦距(以像素为单位),所以我们再来看看这个公式:如您所见,通过将分辨率降低 2,我们也同时将 MinZ 降低 2。请注意,由于像素较少,深度精度也会降低(以厘米为单位)。与 降低分辨率以降低 MinZ 非常相似, 扩展模式会运行两次立体深度管道(因此消耗更多硬件资源);一次使用传递给 StereoDepth 节点的帧分辨率,另一次使用分辨率降低 2 倍的帧, 然后将两个输出视差图组合起来。视差压缩执行稀疏视差匹配:
此处为 Google 表格 用于上述图表。请注意,此图表适用于全像素视差, 启用亚像素模式时精度会更好(参见 立体深度精度文档)。在受控环境中,如果 MaxZ 已知,为了感知更近的深度范围,建议使用视差偏移,因为它不会像上述其他两种方法那样降低深度精度。视差偏移将移动视差搜索的起点,这将显著减小 MaxZ,但也会减小 MinZ。视差偏移可以与扩展/亚像素/左右检查模式结合使用。
左图显示了 OAK-D (7.5 厘米基线,800P 分辨率,约 70° 水平视场角)在默认情况下(视差偏移=0)的最小和最大视差和深度。参见 从视差计算深度。 由于硬件(立体模块)具有固定的 95 像素视差搜索,DepthAI 将从 0 像素(深度=INF)搜索到 95 像素(深度=71 厘米)。限制:右图显示了相同的情况,但视差偏移设置为 30 像素。这意味着视差搜索将从 30 像素(深度=2.2 米)到 125 像素(深度=50 厘米)。这也意味着深度在短距离内将非常准确(理论上深度误差低于 5 毫米)。
由于深度是从视差计算的,而视差需要像素重叠,因此左单目相机的左侧和右单目相机的右侧必然存在一个垂直带,其中无法计算深度,因为它只被一个立体相机看到。该带在下图中用 
在非常近的距离,即使启用 立体扩展视差模式 和 降低分辨率,您也会注意到 这个垂直的无效深度像素带。图片中变量的含义:
利用 计算和图像的功劳归于我们的社区成员 gregflurry,他在 这个 论坛帖子中制作了它们。由于深度图包含 Z 距离,因此与相机平行的物体可以准确测量。对于不平行的物体,可以使用欧几里得距离计算。请参考以下内容:
当运行例如 RGB 和 Yolo 与空间数据 示例时,您可以使用以下代码(在示例代码行
如何获得更低的 MinZ
- 降低分辨率以降低 MinZ
- 启用 立体扩展视差模式
- 启用 立体压缩模式
- 使用 视差偏移 - 建议在受控环境中,已知 MaxZ
降低分辨率以降低 MinZ
立体扩展视差模式
立体压缩模式
- 前 48 像素逐像素匹配,这意味着在较长距离处没有缺点
- 接下来 32 像素每隔 2 个像素匹配一次,因此精度减半(在较近距离处)
- 最后 16 像素每隔 4 个像素匹配一次,因此精度减四分之一(在最近距离处)。由于在最近距离处精度最佳,因此这可能是一个很好的权衡。
压缩 - 对精度的影响(75 毫米基线,800P,正常视场角)

Python
1stereo = pipeline.create(dai.node.StereoDepth)
2cfg = stereo.initialConfig.get()
3# 启用压缩模式
4cfg.costMatching.enableCompanding = True
5stereo.initialConfig.set(cfg)视差偏移

- 由于视差和深度之间存在反比关系,随着视差偏移的增加,MaxZ 的减小速度将远快于 MinZ。因此,建议不要使用大于必要值的视差偏移。
- 以这种方式减小 MinZ 的权衡是,距离大于 MaxZ 的物体将不可见。
- 由于上述原因,我们只建议在已知 MaxZ 时使用视差偏移,例如将深度相机安装在桌子上方并指向桌面。
- 输出视差图未扩展,只有深度图。因此,如果视差偏移设置为 50,并且获得的视差值为 90,则实际视差为 140。
- (+) 更快,因为它不需要额外的计算,这意味着也没有额外的延迟
- (-) 显著减小了 MaxZ,而扩展视差只减小了 MinZ。
method
depthai.StereoDepthConfig.setDisparityShift
近距离深度限制
B 标记。
BL [cm]- 立体相机的基线。Dv [cm]- 两个相机都能看到物体(因此可以计算深度)的最小距离。B [像素]- 无法计算深度的带的宽度。W [像素]- 单目相机或水平像素数量的宽度,在其他公式中也表示为HPixels。D [cm]- 从相机平面到物体的距离(参见图像 测量真实世界物体尺寸)。F [cm]- 距离D处图像的宽度。

tan 函数,可以得到以下公式:F = 2 * D * tan(HFOV/2)Dv = (BL/2) * tan(90 - HFOV/2)
B,我们可以再次使用 tan 函数(与 F 相同),但这次 我们还必须将其乘以 W 和 F 之间的比率,以便将单位转换为像素。 这给出了以下公式:示例:如果我们使用 OAK-D,其 HFOV 为 72°,基线 (BL) 为 7.5 厘米, 并使用 640x400 (400P) 分辨率,因此 W = 640,并且物体距离 D = 100 厘米,我们可以 通过以下方式计算 B:Command Line
1Dv = 7.5 / 2 * tan(90 - 72/2) = 3.75 * tan(54°) = 5.16 厘米
2B = 640 * 5.16 / 100 = 33 # 像素测量真实世界物体尺寸

143 之后)从 XYZ 坐标(SpatialImgDetections)计算到检测到的物体的距离:Python
1distance = math.sqrt(detection.spatialCoordinates.x ** 2 + detection.spatialCoordinates.y ** 2 + detection.spatialCoordinates.z ** 2) # 毫米对于噪声点云,我们建议几种方法:抽取滤波器 对 点云特别有用,您实际上不希望有 100 万个点(尽管听起来对营销有好处),因为数据量太大无法处理。 抽取滤波器在这里有所帮助,并且在处理点云时应该启用。当使用抽取滤波器处理点云时,您应该启用中值/均值模式抽取,因为它将提供额外的过滤 (与像素跳过模式相比)。它还使其他 立体后处理滤波器 更快,因为需要处理的数据更少。角落周围经常有无效/嘈杂的像素,我们 看到一些客户预防性地使深度图像角落周围的几个像素(例如 3 个)无效。我们还建议启用 亮度滤波器, 特别是由于校正“伪影”。除了设备端 立体后处理滤波器, 我们还建议运行主机端点云过滤(例如使用 Open3D 或 PCL 库)。我们特别建议使用点云体素化和去除统计异常值技术, 此处示例 用于这两种技术。
- (上面提到)从 修复噪声深度 章节开始,否则噪声会在点云中产生点
- (上面提到)继续 提高深度精度 章节 - 深度不准确在点云中很容易看到
- 启用立体亚像素模式,特别是由于 立体亚像素对分层的影响
- 点云抽取滤波器 用于更快的处理(FPS)和额外的过滤
- 使角落周围的像素无效 应该有助于减少深度帧角落周围的噪声
- 主机端点云过滤 用于额外的过滤