benchmark
最后更新
modelconverter.platforms.rvc4.benchmarkRVC4 设备上的吞吐量和延迟测量。RVC4 模型可以通过两种方式进行测量,RVC4Benchmark 涵盖了这两种方式:一种是 DepthAI 流水线,它以最快的速度向神经网络节点馈送数据;另一种是 SNPE 自己的 snpe-parallel-run,它通过 ADB 或 SSH 在设备上执行,针对预先在那里暂存的输入。功耗、DSP、内存和 CPU 使用率可以与其中任何一种同时采样。类
InputSpec
属性
data_type
name
shape
RVC4Benchmark
.dlc 或 HubAI slug 在 RVC4 上的基准测试。使用哪种后端由 dai_benchmark 选项决定:DepthAI 流水线,它也报告每次推理的延迟,但只接受 .tar.xz 存档或 slug;或者通过设备处理程序运行的 snpe-parallel-run,它只报告吞吐量,并且也接受裸 .dlc。两者都需要输入张量规范,这些规范从 DLC 中使用 snpe-dlc-info 读取,并在不可用时回退到 NN 存档。方法
benchmark
Python
1def benchmark(configuration: Configuration) -> Result:Warning
configuration 会被就地修改:所选后端不接受的键将从中删除,并且 device_ip 将填充为找到设备的地址。configuration(Configuration): 此运行的选项。
Result: 测量的fps和latency,以及设备监视器运行时读取的数据。
属性
all_configurations
default_configuration
配置选项::profile: 用于推理的 SNPE 配置文件。runtime: 用于推理的 SNPE 运行时。num_images: 用于推理的图像数量。dai_benchmark: 是否使用 DepthAI 进行基准测试。repetitions: 执行的重复次数(仅限 DepthAI,如果设置了benchmark_time则忽略)。benchmark_time: 基于时间的基准测试持续时间(秒)(覆盖repetitions)。input_fps: DepthAI 基准测试发送输入的速率。-1删除限制。num_threads: 推理线程数(仅限 DepthAI)。num_messages: 每次报告测量的消息数量(仅限 DepthAI)。device_ip: 设备的地址,或None以使用找到的第一个设备。device_id: 设备 ID 或 ADB 序列号,或None以使用找到的第一个设备。device_monitor: 是否在基准测试的同时采样功耗、DSP、内存和 CPU 使用率。