基准测试
最后更新
概述
ModelConverter 目前不提供 Hailo 基准测试实现。
安装
Command Line
1pip install "modelconv[bench]"运行基准测试
--model-path 选项是必需的:Command Line
1modelconverter benchmark <platform> --model-path <path_url_or_slug>--save 也会在当前工作目录中写入 <model_name>_benchmark_results.csv。例如,在 RVC4 上对公共 HubAI 模型进行基准测试:Command Line
1modelconverter benchmark rvc4 \
2 --model-path yolov6-nano:r2-coco-512x288 \
3 --save支持的平台和模型源
| 平台和后端 | 支持的 --model-path 值 |
|---|---|
| RVC2, DepthAI | .blob、NN Archive (.tar.xz) 或 HubAI 模型 slug。 |
| RVC3, OpenVINO VPUX | 编译后的 .blob。 |
| RVC4, DepthAI (默认) | NN Archive (.tar.xz) 或 HubAI 模型 slug。此后端不支持独立的 .dlc。 |
| RVC4, SNPE | .dlc、NN Archive (.tar.xz) 或 HubAI 模型 slug。 |
Text
1[team_name/]model_name:variant[:instance]luxonis/yolov6-nano:r2-coco-512x384 标识一个模型和变体,而可选的最终段选择一个特定实例。访问私有模型或团队时设置 HUBAI_API_KEY。CLI 选项
| 选项 | 描述 | 默认值 | 适用于 |
|---|---|---|---|
--model-path | 模型路径、远程 URL 或 HubAI slug。 | 必需 | 所有平台 |
--full | 扫描平台的预定义配置,而不是运行一个配置。 | false | 所有平台 |
--save | 除了打印结果外,还将结果保存到 CSV。 | false | 所有平台 |
--repetitions | 禁用基于时间的执行时,基准测试报告的数量。 | 10 | RVC2; RVC4 DepthAI |
--benchmark-time | 持续时间(秒)。正值优先于 --repetitions。 | 20 | RVC2; RVC4 DepthAI |
--input-fps | 输入发送速率:正 FPS 值或 -1 表示无限制。 | -1 | RVC2; RVC4 DepthAI |
--num-threads | 神经网络推理线程数。 | 2 | RVC2; RVC4 DepthAI |
--num-messages | 每个基准测试报告中包含的消息数。 | 50 | RVC2; RVC4 DepthAI |
--requests | 并发 OpenVINO 推理请求。 | 1 | RVC3 |
--profile | SNPE/DepthAI 性能配置文件。 | balanced | RVC4 |
--runtime | 推理运行时:dsp 或 cpu。 | dsp | RVC4 |
--num-images | SNPE 后端处理的生成输入数量。 | 500 | RVC4 SNPE |
--device-ip | RVC4 设备的地址。 | 自动检测 | RVC4 |
--device-id | DepthAI 设备 ID 或 ADB 序列号。优先于 --device-ip。 | 自动检测 | RVC4 |
--dai-benchmark / --no-dai-benchmark | 选择 DepthAI 或 SNPE RVC4 后端。 | DepthAI | RVC4 |
--device-monitor / --no-device-monitor | 收集可用的设备利用率测量值。 | 已启用 | RVC4 |
modelconverter benchmark --help 查看已安装版本支持的选项值。单次运行和完整运行
--full,ModelConverter 将使用默认值和您提供的任何覆盖值运行一个基准测试。使用 --full,它会执行平台特定的扫描:- RVC2 测试一个、两个和三个推理线程。
- RVC3 测试一到五个并发推理请求。
- RVC4 测试每个支持的性能配置文件,使用一个和两个推理线程。此扫描适用于 DepthAI 后端,因为 SNPE 基准测试不使用
--num-threads。
持续时间控制
--benchmark-time 优先于 --repetitions。要运行固定数量的报告,请使用非正持续时间禁用基于时间的执行:Command Line
1modelconverter benchmark rvc4 \
2 --model-path <archive_or_slug> \
3 --benchmark-time -1 \
4 --repetitions 50--requests 控制其并发性。RVC4 后端
DepthAI
--profile、--runtime、--num-threads、--num-messages、--benchmark-time、--input-fps 和 --repetitions 选项会影响此后端。将其用于正常的 RVC4 测量以及与其他 DepthAI 工作负载可比较的结果:Command Line
1modelconverter benchmark rvc4 \
2 --model-path ./model.tar.xz \
3 --profile high_performance \
4 --benchmark-time 30SNPE
--no-dai-benchmark 以直接在 RVC4 设备上执行 snpe-parallel-run。此后端还接受独立的 .dlc 并报告吞吐量;每次推理延迟报告为不可用。Command Line
1modelconverter benchmark rvc4 \
2 --model-path ./model.dlc \
3 --no-dai-benchmark \
4 --runtime dsp \
5 --profile balanced \
6 --num-images 500snpe-dlc-info,然后在连接的设备上尝试。对于 NN Archive,它可以回退到 Archive 的输入元数据。ModelConverter 在设备上最多创建 100 个不同的随机输入样本,并硬链接 --num-images 请求的任何额外条目,从而限制存储使用。如果 snpe-parallel-run 因设备内存不足而被终止,请减少 --num-images。RVC4 设备选择和监控
Command Line
1modelconverter benchmark rvc4 \
2 --model-path ./model.tar.xz \
3 --no-device-monitor--device-monitor 默认启用。当提供 --device-ip 且 ADB 不可用时,ModelConverter 优先使用 ADB 并回退到 SSH。通过以下任一方式选择设备:--device-ip <address>--device-id <depthai_id_or_adb_serial>
--device-id 优先,ModelConverter 会警告不匹配。如果两者都未提供,则选择第一个合适的设备。RVC4 设备监视器对设备上可用的计数器进行采样,包括:- 系统和处理器功耗,
- DSP 利用率,
- 已用 RAM,
- CPU 利用率和频率,以及
- 热区温度。
结果
fps)。RVC2、RVC3 和 RVC4 DepthAI 运行还报告以毫秒为单位的推理延迟。RVC4 SNPE 运行报告延迟为不可用。当启用 RVC4 设备监控时,控制台表格会添加可用的系统功耗、处理器功耗、DSP 利用率、已用内存和 CPU 利用率。保存的 CSV 文件还包含收集的结果字段和每次运行使用的配置。比较结果时,请使用相同的硬件、设备软件、运行时、性能配置文件和基准测试设置。吞吐量可能因设备状态和后台工作负载而异。示例
RVC2 NN Archive
Command Line
1modelconverter benchmark rvc2 \
2 --model-path ./model.tar.xz \
3 --benchmark-time 60 \
4 --saveRVC3 并发性
Command Line
1modelconverter benchmark rvc3 \
2 --model-path ./model.blob \
3 --requests 4--full 自动比较一到五个请求。带有监控的 RVC4 HubAI 模型
Command Line
1modelconverter benchmark rvc4 \
2 --model-path yolov6-nano:r2-coco-512x288 \
3 --device-ip 192.168.1.50 \
4 --device-monitor \
5 --save手动 SNPE 基准测试
modelconverter benchmark:- 使用
snpe-dlc-info检查 DLC 以确定其输入张量名称、形状和数据类型。 - 创建匹配的
.raw输入和input_list.txt文件。 - 在设备上运行
snpe-parallel-run或snpe-throughput-net-run。