此页面由 AI 自动翻译。查看英文原版
最后更新

本页目录

  • 类
  • InputSpec
  • RVC4Benchmark
  • 属性
  • PROFILES
  • RUNTIMES
Claude CodeCodexCursor
Luxonis 智能体工具包为你常用的编程智能体加载 Luxonis 上下文与技能,更快地基于 OAK 开发应用。
安装工具包
最后更新
Python API: modelconverter.platforms.rvc4.benchmarkRVC4 设备上的吞吐量和延迟测量。RVC4 模型可以通过两种方式进行测量,RVC4Benchmark 涵盖了这两种方式:一种是 DepthAI 流水线,它以最快的速度向神经网络节点馈送数据;另一种是 SNPE 自己的 snpe-parallel-run,它通过 ADB 或 SSH 在设备上执行,针对预先在那里暂存的输入。功耗、DSP、内存和 CPU 使用率可以与其中任何一种同时采样。

类

InputSpec

用于生成基准数据的一个模型输入的描述。形状是必需的:无法为形状未知的输入创建随机张量。

属性

data_type
输入张量的数据类型。
name
输入张量的名称。
shape
输入张量的形状。

RVC4Benchmark

NN 存档、.dlc 或 HubAI slug 在 RVC4 上的基准测试。使用哪种后端由 dai_benchmark 选项决定:DepthAI 流水线,它也报告每次推理的延迟,但只接受 .tar.xz 存档或 slug;或者通过设备处理程序运行的 snpe-parallel-run,它只报告吞吐量,并且也接受裸 .dlc。两者都需要输入张量规范,这些规范从 DLC 中使用 snpe-dlc-info 读取,并在不可用时回退到 NN 存档。

方法

benchmark
Python
1def benchmark(configuration: Configuration) -> Result:
在 RVC4 设备上运行一次模型基准测试。连接到设备,如果请求,启动设备监视器,并将运行交给 DepthAI 或 SNPE 后端。SNPE 后端在设备上放置的任何内容都会在之后再次删除。参数
  • configuration (Configuration): 此运行的选项。
返回
  • Result: 测量的 fps 和 latency,以及设备监视器运行时读取的数据。

属性

all_configurations
返回一个和两个线程的每个 SNPE 配置文件。
default_configuration
RVC4 基准测试的默认配置。
  • 配置选项::
    • profile: 用于推理的 SNPE 配置文件。
    • runtime: 用于推理的 SNPE 运行时。
    • num_images: 用于推理的图像数量。
    • dai_benchmark: 是否使用 DepthAI 进行基准测试。
    • repetitions: 执行的重复次数(仅限 DepthAI,如果设置了 benchmark_time 则忽略)。
    • benchmark_time: 基于时间的基准测试持续时间(秒)(覆盖 repetitions)。
    • input_fps: DepthAI 基准测试发送输入的速率。-1 删除限制。
    • num_threads: 推理线程数(仅限 DepthAI)。
    • num_messages: 每次报告测量的消息数量(仅限 DepthAI)。
    • device_ip: 设备的地址,或 None 以使用找到的第一个设备。
    • device_id: 设备 ID 或 ADB 序列号,或 None 以使用找到的第一个设备。
    • device_monitor: 是否在基准测试的同时采样功耗、DSP、内存和 CPU 使用率。

属性

PROFILES

RUNTIMES