此页面由 AI 自动翻译。查看英文原版
最后更新

本页目录

  • 概述
  • 安装
  • 运行基准测试
  • 支持的平台和模型源
  • CLI 选项
  • 单次运行和完整运行
  • 持续时间控制
  • RVC4 后端
  • DepthAI
  • SNPE
  • RVC4 设备选择和监控
  • 结果
  • 示例
  • RVC2 NN Archive
  • RVC3 并发性
  • 带有监控的 RVC4 HubAI 模型
  • 手动 SNPE 基准测试
Claude CodeCodexCursor
Luxonis 智能体工具包为你常用的编程智能体加载 Luxonis 上下文与技能,更快地基于 OAK 开发应用。
安装工具包

基准测试

最后更新

概述

ModelConverter 基准测试命令测量在物理 RVC2、RVC3 和 RVC4 设备上转换的模型。它报告吞吐量,并且当选定的后端公开时,报告推理延迟。RVC4 还可以报告设备功耗、DSP、内存和 CPU 利用率。基准测试输入是根据模型的张量元数据随机生成的。结果测量运行时性能,而不是模型准确性。

安装

安装 ModelConverter 及其基准测试依赖项:
Command Line
1pip install "modelconv[bench]"
有关基本安装和 Docker 要求,请参阅 ModelConverter 指南。

运行基准测试

--model-path 选项是必需的:
Command Line
1modelconverter benchmark <platform> --model-path <path_url_or_slug>
该命令会打印一个包含配置和测量结果的表格。添加 --save 也会在当前工作目录中写入 <model_name>_benchmark_results.csv。例如,在 RVC4 上对公共 HubAI 模型进行基准测试:
Command Line
1modelconverter benchmark rvc4 \
2  --model-path yolov6-nano:r2-coco-512x288 \
3  --save

支持的平台和模型源

接受的输入取决于平台,对于 RVC4,还取决于基准测试后端:
平台和后端支持的 --model-path 值
RVC2, DepthAI.blob、NN Archive (.tar.xz) 或 HubAI 模型 slug。
RVC3, OpenVINO VPUX编译后的 .blob。
RVC4, DepthAI (默认)NN Archive (.tar.xz) 或 HubAI 模型 slug。此后端不支持独立的 .dlc。
RVC4, SNPE.dlc、NN Archive (.tar.xz) 或 HubAI 模型 slug。
文件输入可以是本地路径或远程 URL。NN Archives 使用 Luxonis NN Archive 格式。HubAI slug 使用以下形式:
Text
1[team_name/]model_name:variant[:instance]
例如,luxonis/yolov6-nano:r2-coco-512x384 标识一个模型和变体,而可选的最终段选择一个特定实例。访问私有模型或团队时设置 HUBAI_API_KEY。

CLI 选项

选项描述默认值适用于
--model-path模型路径、远程 URL 或 HubAI slug。必需所有平台
--full扫描平台的预定义配置,而不是运行一个配置。false所有平台
--save除了打印结果外,还将结果保存到 CSV。false所有平台
--repetitions禁用基于时间的执行时,基准测试报告的数量。10RVC2; RVC4 DepthAI
--benchmark-time持续时间(秒)。正值优先于 --repetitions。20RVC2; RVC4 DepthAI
--input-fps输入发送速率:正 FPS 值或 -1 表示无限制。-1RVC2; RVC4 DepthAI
--num-threads神经网络推理线程数。2RVC2; RVC4 DepthAI
--num-messages每个基准测试报告中包含的消息数。50RVC2; RVC4 DepthAI
--requests并发 OpenVINO 推理请求。1RVC3
--profileSNPE/DepthAI 性能配置文件。balancedRVC4
--runtime推理运行时:dsp 或 cpu。dspRVC4
--num-imagesSNPE 后端处理的生成输入数量。500RVC4 SNPE
--device-ipRVC4 设备的地址。自动检测RVC4
--device-idDepthAI 设备 ID 或 ADB 序列号。优先于 --device-ip。自动检测RVC4
--dai-benchmark / --no-dai-benchmark选择 DepthAI 或 SNPE RVC4 后端。DepthAIRVC4
--device-monitor / --no-device-monitor收集可用的设备利用率测量值。已启用RVC4
运行 modelconverter benchmark --help 查看已安装版本支持的选项值。

单次运行和完整运行

如果没有 --full,ModelConverter 将使用默认值和您提供的任何覆盖值运行一个基准测试。使用 --full,它会执行平台特定的扫描:
  • RVC2 测试一个、两个和三个推理线程。
  • RVC3 测试一到五个并发推理请求。
  • RVC4 测试每个支持的性能配置文件,使用一个和两个推理线程。此扫描适用于 DepthAI 后端,因为 SNPE 基准测试不使用 --num-threads。
由于完整的 RVC4 扫描运行许多配置,并且默认启用设备监控,因此它们可能比单个基准测试花费更长的时间。

持续时间控制

RVC2 和 RVC4 DepthAI 后端默认使用基于时间的执行。正的 --benchmark-time 优先于 --repetitions。要运行固定数量的报告,请使用非正持续时间禁用基于时间的执行:
Command Line
1modelconverter benchmark rvc4 \
2  --model-path <archive_or_slug> \
3  --benchmark-time -1 \
4  --repetitions 50
RVC3 运行固定的内部工作负载,包含 1,000 个异步推理。使用 --requests 控制其并发性。

RVC4 后端

DepthAI

DepthAI 是默认的 RVC4 后端。它接受 NN Archive 或 HubAI 模型 slug,运行 DepthAI 基准测试管道,并报告平均吞吐量和平均每次推理延迟。--profile、--runtime、--num-threads、--num-messages、--benchmark-time、--input-fps 和 --repetitions 选项会影响此后端。将其用于正常的 RVC4 测量以及与其他 DepthAI 工作负载可比较的结果:
Command Line
1modelconverter benchmark rvc4 \
2  --model-path ./model.tar.xz \
3  --profile high_performance \
4  --benchmark-time 30

SNPE

传递 --no-dai-benchmark 以直接在 RVC4 设备上执行 snpe-parallel-run。此后端还接受独立的 .dlc 并报告吞吐量;每次推理延迟报告为不可用。
Command Line
1modelconverter benchmark rvc4 \
2  --model-path ./model.dlc \
3  --no-dai-benchmark \
4  --runtime dsp \
5  --profile balanced \
6  --num-images 500
SNPE 后端需要 DLC 输入张量元数据。ModelConverter 首先尝试在主机上使用 snpe-dlc-info,然后在连接的设备上尝试。对于 NN Archive,它可以回退到 Archive 的输入元数据。ModelConverter 在设备上最多创建 100 个不同的随机输入样本,并硬链接 --num-images 请求的任何额外条目,从而限制存储使用。如果 snpe-parallel-run 因设备内存不足而被终止,请减少 --num-images。

RVC4 设备选择和监控

对于仅 DepthAI 的基准测试,如果禁用监控,则正常的 DepthAI 连接就足够了:
Command Line
1modelconverter benchmark rvc4 \
2  --model-path ./model.tar.xz \
3  --no-device-monitor
SNPE 后端始终需要对设备进行 shell 和文件传输访问。默认的 DepthAI 运行也需要它,因为 --device-monitor 默认启用。当提供 --device-ip 且 ADB 不可用时,ModelConverter 优先使用 ADB 并回退到 SSH。通过以下任一方式选择设备:
  • --device-ip <address>
  • --device-id <depthai_id_or_adb_serial>
如果两者都提供并标识不同的设备,则 --device-id 优先,ModelConverter 会警告不匹配。如果两者都未提供,则选择第一个合适的设备。RVC4 设备监视器对设备上可用的计数器进行采样,包括:
  • 系统和处理器功耗,
  • DSP 利用率,
  • 已用 RAM,
  • CPU 利用率和频率,以及
  • 热区温度。
结果包括可用的空闲基线。缺失的计数器报告为不可用,而不是阻止基准测试。

结果

每个平台都报告每秒帧数 (fps)。RVC2、RVC3 和 RVC4 DepthAI 运行还报告以毫秒为单位的推理延迟。RVC4 SNPE 运行报告延迟为不可用。当启用 RVC4 设备监控时,控制台表格会添加可用的系统功耗、处理器功耗、DSP 利用率、已用内存和 CPU 利用率。保存的 CSV 文件还包含收集的结果字段和每次运行使用的配置。比较结果时,请使用相同的硬件、设备软件、运行时、性能配置文件和基准测试设置。吞吐量可能因设备状态和后台工作负载而异。

示例

RVC2 NN Archive

运行 RVC2 Archive 60 秒并保存结果:
Command Line
1modelconverter benchmark rvc2 \
2  --model-path ./model.tar.xz \
3  --benchmark-time 60 \
4  --save

RVC3 并发性

使用四个并发推理请求对 RVC3 blob 进行基准测试:
Command Line
1modelconverter benchmark rvc3 \
2  --model-path ./model.blob \
3  --requests 4
使用 --full 自动比较一到五个请求。

带有监控的 RVC4 HubAI 模型

在选定的设备上对 HubAI 模型进行基准测试,并保留默认设备指标:
Command Line
1modelconverter benchmark rvc4 \
2  --model-path yolov6-nano:r2-coco-512x288 \
3  --device-ip 192.168.1.50 \
4  --device-monitor \
5  --save

手动 SNPE 基准测试

对于自定义自动化或更低级别的控制,请直接调用 Qualcomm 的 SNPE 工具,而不是 modelconverter benchmark:
  1. 使用 snpe-dlc-info 检查 DLC 以确定其输入张量名称、形状和数据类型。
  2. 创建匹配的 .raw 输入和 input_list.txt 文件。
  3. 在设备上运行 snpe-parallel-run 或 snpe-throughput-net-run。
有关已安装 SNPE 版本支持的选项和输入格式,请参阅 Qualcomm 的 SNPE 通用工具文档。