DepthAI v2 has been superseded by DepthAI v3. You are viewing legacy documentation.
此页面由 AI 自动翻译。查看英文原版
最后更新

本页目录

  • 编码帧
  • PoE 延迟
  • 带宽
  • 测量操作时间
  • 运行 NN 时减少延迟
  • 增加 NN 资源
  • 降低摄像头 FPS 以匹配 NN FPS
  • NN 输入队列大小和阻塞行为
Claude CodeCodexCursor
Luxonis 智能体工具包为你常用的编程智能体加载 Luxonis 上下文与技能,更快地基于 OAK 开发应用。
安装工具包

优化 FPS 和延迟

最后更新
这些表格显示了 OAK 摄像头在 USB 3.2 Gen 1 (5 Gbps) 连接下可以获得的性能。这些测试禁用了 XLink 分块(pipeline.setXLinkChunkSize(0))。有关示例代码,请参阅 延迟测量。
内容分辨率FPS设置 FPS延迟 [ms]带宽直方图
彩色 (isp)1080P6060331.5 Gbps链接
彩色 (isp)4K28.5301502.8 Gbps链接
彩色 (isp)4K262683 (标准差: 3.6)2.6 Gbps/
单色720P/800P12012024.5442/482 Mbps链接
单色400P1201207.5246 Mbps链接
以下是相同的测试,但使用了 OAK PoE 摄像头,它使用千兆以太网链路。摄像头直接连接到计算机, 中间没有交换机或路由器。电源通过 M8 连接器供电。
内容分辨率FPS设置 FPSPoE 延迟 [ms]USB 延迟 [ms]带宽
彩色 (isp)1080P25255133 标准差: 0.8622 Mbps
彩色 (isp)4K8814880 标准差: 1.2530 Mbps
彩色 (isp)4K8.51053080 标准差: 1.3663 Mbps
单色400P909012 标准差: 5.08 标准差: 0.47184 Mbps
单色400P11011016 标准差: 9.48 标准差: 0.45225 Mbps
由于带宽限制,我们为 POE 测量设置了较低的 FPS。例如,4K 8 FPS 的延迟为 150ms,而 4K 10FPS 的延迟为 530ms,因为链路已饱和。
  • 延迟是帧时间戳(imgFrame.getTimestamp())和主机接收帧时的时间戳(dai.Clock.now())之间测量的时间。
  • 直方图显示了 Time-to-Host 在帧之间变化的程度。Y 轴表示在该时间发生的帧数,X 轴表示微秒。
  • 带宽是按指定 FPS 流式传输指定帧所需的计算带宽。

编码帧

内容分辨率FPS设置 FPS主机时间 [ms]直方图
彩色视频 H.2654K28.530210链接
彩色视频 MJPEG4K303071链接
彩色视频 H.2651080P606042链接
彩色视频 MJPEG1080P606031链接
单色 H.265800P606023.5链接
单色 MJPEG800P606022.5链接
单色 H.265400P1201207.5链接
单色 MJPEG400P1201207.5链接
您还可以通过使用 DepthAI 的 Zero-Copy 分支来减少帧延迟。这将把指针(在 XLink 级别)传递给 cv2.Mat,而不是进行内存复制(目前是这样),因此性能提升将取决于您使用的图像大小。 (注意:API 不同,并且在 message_zero_copy 分支上并非所有功能都可用)

PoE 延迟

在 PoE 上,由于多种因素,延迟可能会有很大差异:
  • 网络本身。例如,如果您在一个有许多节点的大型网络中,与使用直接连接相比,延迟会更高。
  • 带宽存在瓶颈:
    • 也许某些网络链路是 10mbps/100mbps 而不是完整的 1gbps(由于交换机/网卡...)。您可以使用 PoE 测试脚本(speed 应为 1000)进行测试。
    • 网络/计算机被其他流量饱和。您可以使用 OAK 带宽测试 脚本测试实际带宽。通过直接链路,我获得了约 800mbps 下行和约 210mbps 上行。
  • 计算机的网卡设置,文档在此
  • 100% OAK Leon CSS (CPU) 使用率。Leon CSS 核心处理 POE 通信(请参阅此处的文档),如果 CPU 100% 使用,它将无法像应有的那样快速处理通信。解决方法: 请参阅 CPU 使用率 文档。
  • 改善 PoE 延迟的另一个潜在方法是微调网络设置,例如 MTU、TCP 窗口大小等(有关更多信息,请参阅 此处)。

带宽

对于大型、未编码的帧,即使在 30FPS 下,带宽也可能很快饱和,尤其是在 PoE 设备上(1gbps 链路):
Command Line
14K NV12/YUV420 帧:3840 * 2160 * 1.5 * 30fps * 8bits = 3 gbps
21080P NV12/YUV420 帧:1920 * 1080 * 1.5 * 30fps * 8bits = 747 mbps
3720P NV12/YUV420 帧:1280 * 720 * 1.5 * 30fps * 8bits = 331 mbps
4
51080P RGB 帧:1920 * 1080 * 3 * 30fps * 8bits = 1.5 gbps
6
7800P 深度帧:1280 * 800 * 2 * 30fps * 8bits = 492 mbps
8400P 深度帧:640 * 400 * 2 * 30fps * 8bits = 123 mbps
9
10800P 单色帧:1280 * 800 * 1 * 30fps * 8bits = 246 mbps
11400P 单色帧:640 * 400 * 1 * 30fps * 8bits = 62 mbps
公式中的第三个值是字节/像素,NV12/YUV420 为 1.5,RGB 为 3,深度帧为 2,单色(灰度)帧为 1。对于视差帧,它要么是 1(正常),要么是 2(子像素模式)。减少带宽的一些选项:
  • 使用 VideoEncoder 在设备上编码帧(H.264、H.265、MJPEG)
  • 降低 FPS/分辨率/流数量

测量操作时间

如果用户将 depthai 级别设置为 trace(请参阅 DepthAI 调试级别),depthai 将记录每个节点/进程的操作时间,如下所示。
Command Line
1[SpatialDetectionNetwork(1)] [trace] SpatialDetectionNetwork 同步耗时 '70.39142' ms。
2[StereoDepth(4)] [trace] Warp 节点耗时 '2.2945' ms。
3[system] [trace] EV:0,S:0,IDS:27,IDD:10,TSS:2,TSN:601935518
4[system] [trace] EV:0,S:1,IDS:27,IDD:10,TSS:2,TSN:602001382
5[StereoDepth(4)] [trace] Stereo 耗时 '12.27392' ms。
6[StereoDepth(4)] [trace] 'Median+Disparity to depth' 流水线耗时 '0.86295' ms。
7[StereoDepth(4)] [trace] Stereo 后处理(总计)耗时 '0.931422' ms。
8[SpatialDetectionNetwork(1)] [trace] 神经网络推理耗时 '62.274784' ms。
9[StereoDepth(4)] [trace] Stereo 校正耗时 '2.686294' ms。
10[MonoCamera(3)] [trace] Mono ISP 耗时 '1.726888' ms。
11[system] [trace] EV:0,S:0,IDS:20,IDD:25,TSS:2,TSN:616446812
12[system] [trace] EV:0,S:1,IDS:20,IDD:25,TSS:2,TSN:616489715
13[SpatialDetectionNetwork(1)] [trace] DetectionParser 耗时 '3.464118' ms。

运行 NN 时减少延迟

在上面的示例中,我们只流式传输帧,没有在 OAK 摄像头上做其他事情。本节将重点介绍 如何在 OAK 上运行 NN 模型时减少延迟。

增加 NN 资源

减少延迟的一种选择是增加 NN 资源。这可以通过更改分配的 NCE 和 SHAVES 数量来完成(请参阅硬件加速器 文档)。 编译工具 可以为更多 SHAVE 核心编译模型。要分配更多 NCE,您可以使用以下 API:
Python
1import depthai as dai
2
3pipeline = dai.Pipeline()
4# nn = pipeline.createNeuralNetwork()
5# nn = pipeline.create(dai.node.MobileNetDetectionNetwork)
6nn = pipeline.create(dai.node.YoloDetectionNetwork)
7nn.setNumInferenceThreads(1) # 默认使用 2 个线程
8nn.setNumNCEPerInferenceThread(2) # 默认每个线程使用 1 个 NCE
模型通常在使用 2 个线程(1 NCE/线程)和为 AVAILABLE_SHAVES / 2 编译模型时以最大 FPS 运行。YoloV7-tiny 的 FPS 和延迟比较示例:
NN 资源摄像头 FPS延迟NN FPS
6 SHAVEs, 2x 线程 (1NCE/线程)15155 ms15
6 SHAVEs, 2x 线程 (1NCE/线程)14149 ms14
6 SHAVEs, 2x 线程 (1NCE/线程)13146 ms13
6 SHAVEs, 2x 线程 (1NCE/线程)10141 ms10
13 SHAVEs, 1x 线程 (2NCE/线程)30145 ms11.6
13 SHAVEs, 1x 线程 (2NCE/线程)12128 ms12
13 SHAVEs, 1x 线程 (2NCE/线程)10118 ms10

降低摄像头 FPS 以匹配 NN FPS

降低 FPS 以不超过 NN 能力通常能提供最佳的延迟性能,因为 NN 能够在新帧可用时立即开始推理。例如,在 15 FPS 下,我们总共获得约 70 毫秒的延迟,从捕获时间(曝光结束和 MIPI 读取开始)开始测量。此时间包括以下内容:
  • MIPI 读取
  • ISP 处理
  • 预览后处理
  • NN 处理
  • 流式传输到主机
  • 最后,直到它到达应用程序的最终额外延迟
注意:如果 FPS 稍微增加,达到 19..21 FPS,会出现大约 10 毫秒的额外延迟,我们认为这与固件有关。我们正在积极寻找降低延迟的改进方法。

NN 输入队列大小和阻塞行为

如果应用程序有 detNetwork.input.setBlocking(False),但队列大小没有改变,以下调整 可能有助于改善延迟性能:通过添加 detNetwork.input.setQueueSize(1),同时将摄像头 FPS 设置回 40,我们获得了大约 80..105 毫秒的延迟。 不确定性原因之一是摄像头以不同的速率(25 毫秒帧时间)生成, 而 NN 完成并可以接受新帧进行处理。