inferer
最后更新
modelconverter.platforms.hailo.inferer通过 Hailo SDK 使用 Hailo 模型进行推理。包含 Inferer 实现,infer 命令用于 Hailo 平台:转换后的 HAR 模型通过 hailo_sdk_client 加载,并在 SDK 的量化推理上下文中运行。它仅在安装了该 SDK 的 Hailo Docker 镜像中工作。类
HailoInferer
方法
infer
Python
1def infer(inputs: dict[str, Path]) -> dict[str, np.ndarray]:.npy 和 .raw 数据按原样加载,并且必须已经以 CHW 布局。结果作为通道在后的单批次数据传递给运行器,以匹配的 HN 层名称为键。SDK 在推理时打印到 stdout 和 stderr 的任何内容都将被丢弃。参数inputs(dict[str, Path]): 每个模型输入的图像、.npy或.raw文件的路径,以输入名称为键。
dict[str, np.ndarray]: 模型输出,以输出名称为键。
setup
Python
1def setup(self):RuntimeError: 如果模型没有原始元数据。NotImplementedError: 如果逆后处理映射包含多个条目。