# inferer

Python API: `modelconverter.platforms.hailo.inferer`

通过 Hailo SDK 使用 Hailo 模型进行推理。

包含
[Inferer](/software-v3/ai-inference/conversion/rvc-conversion/offline/modelconverter/modelconverter-api-reference/platforms/base_inferer.md)
实现，`infer` 命令用于 Hailo 平台：转换后的 HAR 模型通过 `hailo_sdk_client` 加载，并在 SDK 的量化推理上下文中运行。它仅在安装了该 SDK 的 Hailo Docker 镜像中工作。

## 类

### HailoInferer

基于 Hailo SDK 客户端的 Hailo HAR 模型推理器。

#### 方法

##### infer

```python
def infer(inputs: dict[str, Path]) -> dict[str, np.ndarray]:
```

在一组输入文件上运行模型。

每个文件根据其所属的输入进行读取：图像被转换，而 `.npy` 和 `.raw` 数据按原样加载，并且必须已经以 `CHW` 布局。结果作为通道在后的单批次数据传递给运行器，以匹配的 HN 层名称为键。SDK 在推理时打印到 stdout 和 stderr
的任何内容都将被丢弃。

参数

 * `inputs` (`dict[str, Path]`): 每个模型输入的图像、`.npy` 或 `.raw` 文件的路径，以输入名称为键。

返回

 * `dict[str, np.ndarray]`: 模型输出，以输出名称为键。

##### setup

```python
def setup(self):
```

加载 HAR 模型并收集输出名称。

名称取自模型元数据中记录的逆后处理映射（仅由从 ONNX 转换而来的 HAR 携带）以及输出层的原始名称。

引发

 * `RuntimeError`: 如果模型没有原始元数据。
 * `NotImplementedError`: 如果逆后处理映射包含多个条目。
