优化 FPS 和延迟
最后更新
pipeline.setXLinkChunkSize(0))。有关示例代码,请参阅 延迟测量。要启用 10Gbps USB3 模式(使用 USB 3.2 Gen 2 兼容电缆时),请在启动流水线之前在流水线的默认 设备上进行设置:
Python
1with dai.Device(maxUsbSpeed=dai.UsbSpeed.SUPER_PLUS) as device:
2 with dai.Pipeline(device) as pipeline:
3 pipeline.start()| 内容 | 分辨率 | FPS | 设置 FPS | 延迟 [ms] | 带宽 | 直方图 |
|---|---|---|---|---|---|---|
| 彩色 (isp) | 1080P | 60 | 60 | 33 | 1.5 Gbps | 链接 |
| 彩色 (isp) | 4K | 28.5 | 30 | 150 | 2.8 Gbps | 链接 |
| 彩色 (isp) | 4K | 26 | 26 | 83 (标准差: 3.6) | 2.6 Gbps | / |
| 单色 | 720P/800P | 120 | 120 | 24.5 | 442/482 Mbps | 链接 |
| 单色 | 400P | 120 | 120 | 7.5 | 246 Mbps | 链接 |
- oak_bandwidth_test.py 结果:797 mbps 下行,264 mbps 上行。
- oak_latency_test.py 结果:平均值:5.2 毫秒,标准差:6.2。
| 内容 | 分辨率 | FPS | 设置 FPS | PoE 延迟 [ms] | USB 延迟 [ms] | 带宽 |
|---|---|---|---|---|---|---|
| 彩色 (isp) | 1080P | 25 | 25 | 51 | 33 标准差: 0.8 | 622 Mbps |
| 彩色 (isp) | 4K | 8 | 8 | 148 | 80 标准差: 1.2 | 530 Mbps |
| 彩色 (isp) | 4K | 8.5 | 10 | 530 | 80 标准差: 1.3 | 663 Mbps |
| 单色 | 400P | 90 | 90 | 12 标准差: 5.0 | 8 标准差: 0.47 | 184 Mbps |
| 单色 | 400P | 110 | 110 | 16 标准差: 9.4 | 8 标准差: 0.45 | 225 Mbps |
- 延迟是测量从帧时间戳(
imgFrame.getTimestamp())到主机接收帧时的主机时间戳(dai.Clock.now())之间的时间。 - 直方图显示了 Time-to-Host 在帧之间变化的程度。Y 轴表示在该时间发生的帧数,而 X 轴表示微秒。
- 带宽是计算以指定 FPS 流式传输指定帧所需的带宽。
编码帧
| 内容 | 分辨率 | FPS | 设置 FPS | Time-to-Host [ms] | 直方图 |
|---|---|---|---|---|---|
| 彩色视频 H.265 | 4K | 28.5 | 30 | 210 | 链接 |
| 彩色视频 MJPEG | 4K | 30 | 30 | 71 | 链接 |
| 彩色视频 H.265 | 1080P | 60 | 60 | 42 | 链接 |
| 彩色视频 MJPEG | 1080P | 60 | 60 | 31 | 链接 |
| 单色 H.265 | 800P | 60 | 60 | 23.5 | 链接 |
| 单色 MJPEG | 800P | 60 | 60 | 22.5 | 链接 |
| 单色 H.265 | 400P | 120 | 120 | 7.5 | 链接 |
| 单色 MJPEG | 400P | 120 | 120 | 7.5 | 链接 |
message_zero_copy 分支上的所有功能并非都可用)PoE 延迟
- 网络本身。例如,如果您处于一个有许多节点的大型网络中,与使用直接连接相比,延迟会更高。
- 带宽存在瓶颈:
- 计算机的网卡设置,文档在此
- 100% OAK Leon CSS (CPU) 使用率。Leon CSS 核心处理 POE 通信(请参阅此处的文档),如果 CPU 使用率达到 100%,它将无法像应有的那样快速处理通信。**解决方法:**请参阅 CPU 使用率 文档。
- 另一种改善 PoE 延迟的潜在方法是微调网络设置,例如 MTU、TCP 窗口大小等(有关更多信息,请参阅 此处)
带宽
Command Line
14K NV12/YUV420 帧:3840 * 2160 * 1.5 * 30fps * 8bits = 3 gbps
21080P NV12/YUV420 帧:1920 * 1080 * 1.5 * 30fps * 8bits = 747 mbps
3720P NV12/YUV420 帧:1280 * 720 * 1.5 * 30fps * 8bits = 331 mbps
4
51080P RGB 帧:1920 * 1080 * 3 * 30fps * 8bits = 1.5 gbps
6
7800P 深度帧:1280 * 800 * 2 * 30fps * 8bits = 492 mbps
8400P 深度帧:640 * 400 * 2 * 30fps * 8bits = 123 mbps
9
10800P 单色帧:1280 * 800 * 1 * 30fps * 8bits = 246 mbps
11400P 单色帧:640 * 400 * 1 * 30fps * 8bits = 62 mbps- 使用 VideoEncoder 在设备上编码帧(H.264、H.265、MJPEG)
- 降低 FPS/分辨率/流数量
测量操作时间
trace(请参阅 DepthAI 调试级别),depthai 将记录每个节点/进程的操作时间,如下所示。Command Line
1[SpatialDetectionNetwork(1)] [trace] SpatialDetectionNetwork 同步耗时 '70.39142' ms。
2[StereoDepth(4)] [trace] Warp 节点耗时 '2.2945' ms。
3[system] [trace] EV:0,S:0,IDS:27,IDD:10,TSS:2,TSN:601935518
4[system] [trace] EV:0,S:1,IDS:27,IDD:10,TSS:2,TSN:602001382
5[StereoDepth(4)] [trace] Stereo 耗时 '12.27392' ms。
6[StereoDepth(4)] [trace] 'Median+Disparity to depth' 流水线耗时 '0.86295' ms。
7[StereoDepth(4)] [trace] Stereo 后处理 (总计) 耗时 '0.931422' ms。
8[SpatialDetectionNetwork(1)] [trace] NeuralNetwork 推理耗时 '62.274784' ms。
9[StereoDepth(4)] [trace] Stereo 校正耗时 '2.686294' ms。
10[MonoCamera(3)] [trace] Mono ISP 耗时 '1.726888' ms。
11[system] [trace] EV:0,S:0,IDS:20,IDD:25,TSS:2,TSN:616446812
12[system] [trace] EV:0,S:1,IDS:20,IDD:25,TSS:2,TSN:616489715
13[SpatialDetectionNetwork(1)] [trace] DetectionParser 耗时 '3.464118' ms。运行 NN 时减少延迟
增加 NN 资源
Python
1import depthai as dai
2
3pipeline = dai.Pipeline()
4# nn = pipeline.create(dai.node.NeuralNetwork)
5# nn = pipeline.create(dai.node.MobileNetDetectionNetwork)
6nn = pipeline.create(dai.node.YoloDetectionNetwork)
7nn.setNumInferenceThreads(1) # 默认使用 2 个线程
8nn.setNumNCEPerInferenceThread(2) # 默认每个线程使用 1 个 NCEAVAILABLE_SHAVES / 2 编译模型时,模型通常以最大 FPS 运行。YoloV7-tiny 的 FPS 和延迟比较示例:| NN 资源 | 摄像头 FPS | 延迟 | NN FPS |
|---|---|---|---|
| 6 SHAVEs, 2x 线程 (1NCE/线程) | 15 | 155 ms | 15 |
| 6 SHAVEs, 2x 线程 (1NCE/线程) | 14 | 149 ms | 14 |
| 6 SHAVEs, 2x 线程 (1NCE/线程) | 13 | 146 ms | 13 |
| 6 SHAVEs, 2x 线程 (1NCE/线程) | 10 | 141 ms | 10 |
| 13 SHAVEs, 1x 线程 (2NCE/线程) | 30 | 145 ms | 11.6 |
| 13 SHAVEs, 1x 线程 (2NCE/线程) | 12 | 128 ms | 12 |
| 13 SHAVEs, 1x 线程 (2NCE/线程) | 10 | 118 ms | 10 |
降低摄像头 FPS 以匹配 NN FPS
- MIPI 读出
- ISP 处理
- 预览后处理
- NN 处理
- 流式传输到主机
- 最后,最终到达应用程序的额外延迟
NN 输入队列大小和阻塞行为
detNetwork.input.setBlocking(False),但队列大小没有改变,以下调整 可能有助于改善延迟性能:通过添加 detNetwork.input.setQueueSize(1),同时将摄像头 FPS 设置回 40,我们获得了大约 80..105 毫秒的延迟。 导致不确定性的原因之一是摄像头以不同的速率(25 毫秒帧时间)生成, 而 NN 完成并可以接受新帧进行处理的时间不同。