benchmark
最后更新
modelconverter.platforms.rvc3.benchmark在 RVC3 设备上对转换后的模型进行基准测试。通过 OpenVINO 推理引擎将模型加载到连接的 RVC3 设备的 VPUX 插件上,并测量其在不同数量的并发推理请求下的吞吐量和延迟。类
RVC3Benchmark
方法
benchmark
Python
1def benchmark(configuration: Configuration) -> Result:configuration(Configuration): 用于基准测试的配置。唯一支持的选项是requests,即并发推理请求的数量。
Result: 在fps下测得的吞吐量和在latency下测得的中位数请求延迟。
属性
all_configurations
default_configuration
Options:: requests: 要执行的请求数量。