此页面由 AI 自动翻译。查看英文原版
最后更新

本页目录

  • 概述
  • 转换
  • 从 PyTorch 转换
  • 从 TensorFlow 转换
  • 验证
  • 输入/输出张量
  • 性能
Claude CodeCodexCursor
Luxonis 智能体工具包为你常用的编程智能体加载 Luxonis 上下文与技能,更快地基于 OAK 开发应用。
安装工具包

转换为 ONNX

最后更新

概述

开放神经网络交换 (ONNX) 是一种广泛使用的格式,用于表示机器学习模型。 它是开源的,并受到各种框架和工具的支持。 在这里,我们收集了一些最常见的将模型转换为 .onnx 的方法。 建议这样做,因为它为适用于 RVC 平台的转换提供了最多的选择。

转换

从 PyTorch 转换

您可以使用 PyTorch ONNX API 来转换和导出您的模型:
Python
1import torch
2import torch.nn as nn
3
4# 定义模型架构(必须与保存的模型匹配)
5class Model(nn.Module):
6    ...
7    
8# 初始化模型并加载训练好的权重
9model = Model()
10model.load_state_dict(torch.load("model_name.pt"))
11model.eval()  # 将模型设置为推理模式
12
13# 定义输入形状并创建虚拟输入张量
14input_shape = ... # 例如 (1, 3, 512, 288)
15dummy_input = torch.randn(input_shape)
16
17# 将模型导出为 ONNX 格式
18torch.onnx.export(model, dummy_input, "model_name.onnx")
这种类型的转换不会改变模型的架构;它只改变模型保存的格式。 因此,转换后的模型表现出与原始模型相同的性能。 有关更多信息,请参阅官方 PyTorch 导出教程。

YOLO 模型

对于 YOLO 模型的转换,我们建议使用我们的 tools-cli 包,这是一个专门的实用程序,可以简化转换过程。 目前支持的系列包括 YOLOv5、YOLOv6、YOLOv7、YOLOv8、YOLOv9、YOLOv10、YOLO11、YOLO12、YOLO26、YOLOE 和 Gold-YOLO。 有关支持的 YOLO 系列、变体和当前限制的精确集合,请参阅上游 支持的模型表。与一般的 PyTorch 转换不同,此过程会修改模型架构以标准化其输出。 这允许使用原生的 DepthAI DetectionNetwork 节点进行开箱即用的解析。 (或者对于姿态和实例分割模型,使用 YOLOExtendedParser 解析器节点)。因此,后处理可以完全在设备上执行,从而消除主机设备数据传输并减少整体延迟。 虽然这是推荐的方法,但您仍然可以使用通用转换方法导出 YOLO 模型。 但是,请记住,您需要手动处理输出解析,因为不提供原生支持。 此外,请注意,由于支持的操作的限制——无论是在转换器中还是在设备上——导出的 ONNX 模型可能无法直接转换或运行。您可以安装 tools-cli 包,如下所示:
Command Line
1git clone --recursive https://github.com/luxonis/tools.git
2cd tools
3pip install .
安装后,您可以直接从命令行运行转换(只需确保您正在从 tools 目录的根目录运行):
Command Line
1tools <MODEL>.pt --imgsz "<WIDTH> <HEIGHT>"
您可以在 tools-cli 文档 中找到有关转换参数的更多信息。 例如,要转换一个期望 BGR 输入图像分辨率为 (512, 288) 的 YOLOv6n 模型,请运行以下命令:
Command Line
1tools yolov6n.pt --imgsz "512 288" --encoding BGR
生成的 ONNX 模型的输入形状为 (1, 3, 512, 288),输出形状如下:(1,85,36,64)、(1,85,18,32) 和 (1,85,9,16) (与通过通用转换获得的原始模型的输出形状形成对比:(1, 2304, 85)、(1, 576, 85) 和 (1, 144, 85);如果连接成单个张量,则为 (1, 3024, 85))。

从 TensorFlow 转换

对于 TensorFlow (.pb)、Keras (.h5)、tensorflow.js (.json 和 .bin) 或 TensorFlow Lite (.tflite) 格式的模型,我们建议使用 tf2onnx 转换工具。
  • 首先,安装 tensorflow 和 tf2onnx 包:
Command Line
1pip install tensorflow
2pip install -U tf2onnx
  • 其次,可以通过命令行完成转换:
Command Line
1python -m tf2onnx.convert --saved-model tensorflow-model-path --output model.onnx

验证

输入/输出张量

在将 ONNX 转换为 RVC 平台之前,请确保 ONNX 模型的输入/输出张量:
  • 正确定义(从/向适当的层获取输入/发送输出)。
    • 如果没有,请使用 onnx-modifier 工具重新定义输入/输出张量。
  • 形状为 NCHW 形式(批大小、颜色通道、高度、宽度)。
    • 如果没有,在运行 tf2onnx 工具时定义 --inputs-as-nchw data 和 --outputs-as-nchw 标志。
  • 形状维度都不是动态的(例如,批大小是固定的)。
    • 如果是动态的,请使用 onnxruntime 库固定形状(有关更多信息,请参阅此 教程)。

性能

将模型转换为 ONNX 有时会导致模型性能略有差异。 这些差异通常是由于舍入、数值精度、层实现和操作近似的差异造成的。 建议使用各种测试输入比较原始模型和 ONNX 模型的输出。 您可以使用平均绝对误差 (MAE) 或均方误差 (MSE) 等指标评估差异。如果您发现差异,请考虑以下步骤:
  • 更新到最新的 ONNX Opset: 确保您使用的是最新的 ONNX opset 版本。 较新的 opset 通常包含改进和错误修复,可增强模型兼容性。
  • 简化模型操作: 在将模型转换为 ONNX 之前,简化模型中的复杂操作或层。 这有助于减少转换相关问题的可能性。
  • 确保精度一致性: 在两个模型中对权重、输入和输出使用相同的数据类型(例如,float32),以保持数值精度。
通过遵循这些步骤,您可以最大程度地减少差异,并确保您的 ONNX 模型与原始模型的性能紧密匹配。