DepthAI v2 has been superseded by DepthAI v3. You are viewing legacy documentation.
此页面由 AI 自动翻译。查看英文原版
最后更新

本页目录

  • 如何放置
  • 输入和输出
  • ToF 设置
  • 相位解缠绕
  • ToF 运动模糊
  • 最大距离
  • ToF FPS
  • 用法
  • 功能示例
  • 参考
Claude CodeCodexCursor
Luxonis 智能体工具包为你常用的编程智能体加载 Luxonis 上下文与技能,更快地基于 OAK 开发应用。
安装工具包
最后更新
ToF 节点用于将 ToF 传感器的原始数据转换为深度图。目前,以下两款产品包含 ToF 传感器:
  • OAK-D ToF - 集成了 33D ToF 传感器和一对立体摄像头
  • OAK-FFC ToF 33D - 带有 33D ToF 传感器的独立 FFC 模块
ToF 的 depth 输出可以替代 StereoDepth 的输出 - 因此您可以将 ToF.depth 直接链接到 MobileNetSpatialDetectionNetwork/YoloSpatialDetectionNetwork 或 SpatialLocationCalculator。ToF 的深度精度通常比立体深度更准确。您可以在此处查看 ToF 深度精度。ToF 点云演示视频,展示了深度精度:

如何放置

Python

Python
1pipeline = dai.Pipeline()
2tof = pipeline.create(dai.node.ToF)

C++

C++
1dai::Pipeline pipeline;
2auto tof = pipeline.create<dai::node::ToF>();

输入和输出

ToF 设置

在 ToF 深度 示例中,我们允许用户快速配置 ToF 设置。以下是最重要的设置:
  • 光学校正:这是一个校正光学效应的过程。启用后,ToF 返回深度图(由下图中的绿线表示)而不是距离,因此它与 StereoDepth 深度报告匹配。它执行校正和距离到深度转换(Z 映射)。
  • 去畸变:depth 和 amplitude 帧默认是去畸变的。
  • 相位解缠绕 - 校正 ToF 传感器相位缠绕效应的过程。您可以将其设置为 [0..5 已优化]。数字越高,ToF 范围越长,但也会增加噪声。近似最大距离(有关确切值,请参阅下面的最大距离):
    • 0 - 禁用,最远约 1.87 米(使用 80MHz 调制频率)
    • 1 - 最远约 3 米
    • 2 - 最远约 4.5 米
    • 3 - 最远约 6 米
    • 4 - 最远约 7.5 米
  • 突发模式:启用后,ToF 节点不会重用帧,如下图所示。这与 ToF 帧的后处理有关,而不是实际的传感器/投影仪。默认情况下禁用。
  • 相位混洗时间滤波器:平均相同调制频率的混洗和非混洗帧以降低噪声。默认情况下启用。您可以禁用它以减少ToF 运动模糊和系统负载。
这是展示 ToF 解码如何根据设置完成的时间图。

相位解缠绕

如果光从 ToF 传感器传播并返回所需的时间超过发射波的周期(1.5m 或 1.87m),则所得测量值将“缠绕”回较低的值。这称为相位缠绕。 这类似于时钟在 12 小时后重置。相位解缠绕是可能的,因为我们的 ToF 具有两种不同的调制频率(80Mhz 和 100MHz)。相位解缠绕旨在通过允许传感器解释更长的距离而不会混淆来纠正此问题。它使用算法来跟踪发生了多少个周期(波的往返), 从而纠正“缠绕”的相位。缺点是传感器需要跟踪的周期越多,它引入测量值的噪声就越多。

ToF 运动模糊

为了减少运动模糊,我们建议使用以下设置:
  • 提高相机 FPS。它可以达到 160 FPS,这将导致帧捕获最快(帧之间 6.25 毫秒)。这将减少运动模糊,因为 ToF 结合了多个帧以获得深度。请注意,160FPS 将显著增加系统负载(请参阅 调试 DepthAI 管道)。另请注意,更高的 FPS -> 更低的曝光时间,这会增加噪声。
  • 禁用相位混洗时间滤波器。这将引入更多噪声。
  • 禁用相位解缠绕。这将把最大距离减少到 1.87 米(使用 80MHz 调制频率),因此大约 1 立方米的空间将可见(非常有限的用例)。
  • 启用突发模式。如果混洗滤波器和相位解缠绕被禁用,这无关紧要(参见上图)。启用后,ToF 节点不会重用帧(较低的 FPS)。
在上图中,组合的帧越少(图底部),运动模糊越少。组合的帧越多(图顶部),过滤越多(精度越高),但会导致更多的运动模糊。

最大距离

ToF 最大距离取决于调制频率和相位解缠绕级别。如果启用相位解缠绕, 最大距离是两种调制频率中较短的一种(即 100MHz 时的最大距离)。公式如下:
Math
1c = 299792458.0 # 光速,单位 m/s
2
3MAX_80MHZ_M = c / (80000000 * 2) = 1.873 m
4MAX_100MHZ_M = c / (100000000 * 2) = 1.498 m
5
6MAX_DIST_80MHZ_M = (phaseUnwrappingLevel + 1) * 1.873 + (phaseUnwrapErrorThreshold / 2)
7MAX_DIST_100MHZ_M = (phaseUnwrappingLevel + 1) * 1.498 + (phaseUnwrapErrorThreshold / 2)
8
9MAX_DIST_PHASE_UNWRAPPING_M = MAX_DIST_100MHZ_M

ToF FPS

传感器/发射器最高可达 160 FPS,这将转换为 40 FPS(启用突发模式)或 80 FPS(禁用突发模式)的深度输出。这是由于不同的调制频率(80MHz 和 100MHz) 以及需要组合混洗/非混洗帧以降低噪声。

用法

Python

Python
1pipeline = dai.Pipeline()
2
3tof_cam = pipeline.create(dai.node.Camera)
4tof_cam.setFps(30)
5# 我们假设 ToF 相机传感器在 CAM_A 端口上
6tof_cam.setBoardSocket(dai.CameraBoardSocket.CAM_A)
7
8tof = pipeline.create(dai.node.ToF)
9
10# 数字越大 => 处理越快。1 个 shave 核心可以达到 30FPS。
11tof.setNumShaves(1)
12
13# 中值滤波器,内核大小 5x5
14tof.initialConfig.setMedianFilter(dai.MedianFilter.KERNEL_5x5)
15
16tofConfig = tof.initialConfig.get()
17# 时间滤波器平均混洗/非混洗频率
18tofConfig.enablePhaseShuffleTemporalFilter = True
19# 相位解缠绕,用于更长的范围。
20tofConfig.phaseUnwrappingLevel = 4 # 最远 7.5 米
21tofConfig.phaseUnwrapErrorThreshold = 300
22tof.initialConfig.set(tofConfig)
23
24# ToF 节点将原始传感器帧转换为深度
25tof_cam.raw.link(tof.input)
26
27# 将 ToF 深度输出发送到主机,或者发送到 SLC / 空间检测网络
28tof.depth.link(xout.input)

C++

C++
1dai::Pipeline pipeline;
2
3auto tofCam = pipeline.create<dai::node::MonoCamera>();
4// 我们假设 ToF 相机传感器在 CAM_A 端口上
5tofCam->setBoardSocket(dai::CameraBoardSocket.AUTO);
6
7auto tof = pipeline.create<dai::node::ToF>();
8// ToF 节点将原始传感器帧转换为深度
9tofCam->raw.link(tof->input);
10
11auto xout = pipeline.create<dai::node::XLinkOut>();
12xout->setStreamName("depth");
13// 将 ToF 深度输出发送到主机
14tof->depth.link(xout->input);

功能示例

参考

class

depthai.node.ToF(depthai.Node)

method
setNumFramesPool(self, arg0: typing.SupportsInt) -> ToF: ToF
Specify number of frames in output pool  Parameter ``numFramesPool``:     Number of frames in output pool
method
setNumShaves(self, arg0: typing.SupportsInt) -> ToF: ToF
Specify number of shaves reserved for ToF decoding.
property
amplitude
Outputs ImgFrame message that carries amplitude image.
property
depth
Outputs ImgFrame message that carries decoded depth image.
property
initialConfig
Initial config to use for depth calculation.
property
input
Input raw ToF data. Default queue is blocking with size 8.
property
inputConfig
Input ToF message with ability to modify parameters in runtime. Default queue is non-blocking with size 4.
property
intensity
Outputs ImgFrame message that carries intensity image.
property
phase
Outputs ImgFrame message that carries phase image, useful for debugging. float32 type.

需要帮助?

请访问讨论论坛以获取技术支持或您可能有的任何其他问题。