DepthAI v2 has been superseded by DepthAI v3. You are viewing legacy documentation.
此页面由 AI 自动翻译。查看英文原版
最后更新

本页目录

  • 模型源准备
  • PyTorch 到 ONNX
  • TFLite 到 ONNX
  • 其他 TensorFlow 表示
  • 获取 Blob
  • 使用 BlobConverter
  • 本地转换
  • 高级设置
  • 模型优化器标志
  • 模型编译器标志
  • 导出示例
Claude CodeCodexCursor
Luxonis 智能体工具包为你常用的编程智能体加载 Luxonis 上下文与技能,更快地基于 OAK 开发应用。
安装工具包
最后更新
要在 OAK 设备上部署自定义模型,必须将它们从初始框架(如 PyTorch、TFLite 等)转换为与 DepthAI 兼容的 MyriadX blob 格式。在本指南中,我们将介绍如何使用 BlobConverter 工具完成此操作,并演示如何执行本地转换。转换过程如下图所示:
Model compile
  1. 模型源: 从 ONNX、Caffe 或 TensorFlow 格式之一开发的模型开始。
  2. 模型优化器: 使用模型优化器将模型转换为 OpenVINO 的中间表示 (IR),生成 .xml(配置文件)和 .bin(权重文件)。
  3. 模型编译器: 使用模型编译器编译 .xml 和 .bin 文件,以创建 .blob 文件。
  4. 部署: 将 .blob 文件部署到 OAK 设备中的 MYRIAD-X 处理器进行推理。

模型源准备

在第一步中,您将通过将模型从其原始框架转换为适合进一步转换的格式来准备模型,这可能包括 ONNX 或其他格式,具体取决于模型的来源。

PyTorch 到 ONNX

您可以使用 PyTorch ONNX API 来转换和导出您的模型:
Python
1import torch
2# 加载您的 PyTorch 模型
3your_model = Model()
4# 创建一个与模型输入形状匹配的虚拟输入张量
5dummy_input = torch.randn(1, 3, 224, 224)
6# 转换为 ONNX 并保存
7torch.onnx.export(your_model, dummy_input, 'output.onnx')

TFLite 到 ONNX

对于 TensorFlow Lite (.tflite) 格式的模型,推荐的转换工具是 tflite2onnx。 此工具将 TFLite 模型转换为 ONNX 格式:
  • 首先,安装 tflite2onnx 包:
Command Line
1pip install tflite2onnx
  • 然后可以通过命令行进行转换:
Command Line
1tflite2onnx your_model.tflite output.onnx
或通过 Python:
Python
1import tflite2onnx
2tflite2onnx.convert('your_model.tflite', 'output.onnx')

其他 TensorFlow 表示

对于非 TFLite TensorFlow 模型(例如 SavedModel 或 Frozen Graph),转换直接涉及 OpenVINO 的模型优化器。有关详细说明,请参阅 OpenVINO 文档。在 OpenVINO 转换之后,您可以使用 BlobConverter 或 OpenVINO 的编译工具 来获取 .blob 文件。

获取 Blob

有两种方法可以获取 .blob 文件:第一种也是最简单的方法是使用 BlobConverter,这也是推荐的方法。或者,您可以使用本地方法,这涉及直接利用 OpenVINO 工具。

使用 BlobConverter

BlobConverter 提供了一种获取 .blob 文件的直接方法。此工具可通过 Web 界面、API 和命令行界面 (CLI) 访问。以下部分概述了使用这些工具中的每一个将模型转换为 .blob 的步骤。

通过 BlobConverter Web 界面转换

  • 访问 BlobConverter 网站。
  • 选择您希望使用的 OpenVINO 版本。我们将使用 BlobConverter 当前支持的最新版本 2022.1。对于 RAE 和其他带有 RVC3 的设备,您可以直接选择 RVC3。选择版本后,指示模型源。在我们的例子中是 ONNX 模型,但也可以上传 IR 格式的模型。然后单击 Continue。
Blobconverter menu
  • 单击 Choose file 上传 ONNX 文件。
Blobconverter upload
  • 此外,在继续模型转换之前,您可以通过单击 Advanced 自定义 转换参数。
Blobconverter advanced
  • 最后,单击 Convert 并等待过程完成。
或者,您可以使用 BlobConverter API,这对于自动化工作流特别有用。这可以通过向 BlobConverter 服务发出 HTTP 请求并提供必要的模型和参数来完成。您可以通过单击网站右上角的 Use API 按钮找到有关如何执行此操作的更多信息。

通过 BlobConverter CLI 转换

Command Line
1python3 -m pip install blobconverter
  • 使用该包,您可以直接从命令行和 Python 脚本转换模型:
Command Line
1python3 -m blobconverter --onnx-model /path/to/model.onnx --shaves 6
或
Python
1import blobconverter
2
3blob_path = blobconverter.from_onnx(
4    model="/path/to/model.onnx",
5    data_type="FP16",
6    shaves=6,
7)

本地转换

本地转换非常适合离线使用,允许您使用自己的系统获取 .blob 文件。它在互联网访问受限的环境中或将转换集成到您的工作流中特别有用。接下来的步骤将指导您使用 OpenVINO 的模型优化器和编译工具等工具完成此过程。

模型优化器

OpenVINO 的模型优化器将模型从其原始框架格式转换为 OpenVINO 的中间表示 (IR) 标准格式(.bin 和 .xml)。这种标准化模型格式可以部署在各种 Intel 设备上,包括 VPU。此外,您可以通过指定各种标志来自定义转换过程,我们将在 即将到来的部分 中解释这些标志。要执行转换,请确保您已安装 OpenVINO-dev。请记住,此方法支持 OpenVINO 版本 2022.1,并且不支持更高版本:
Command Line
1pip install openvino-dev==2022.1
然后按如下方式运行命令:
Command Line
1mo --input_model path/to/model.onnx --data_type=FP16 --mean_values=[0,0,0] --scale_values=[255,255,255]

编译工具

一旦模型转换为 OpenVINO 的 IR 格式,下一步就是利用 OpenVINO 的编译工具。此工具用于将 IR 格式的模型编译为 .blob 文件,然后即可部署到设备上。
  • 编译工具是 OpenVINO 工具包的一部分。其位置将取决于您的安装路径。通常,它位于 OpenVINO 安装的 .../tools/compile_tool 目录中:
Command Line
1cd .../tools/compile_tool
  • 使用以下命令格式将您的 IR 模型编译为 .blob 文件:
Command Line
1./compile_tool -m path_to_model/model_name.xml -d MYRIAD

高级设置

模型优化器标志

数据类型

由于我们正在为 VPU(支持 FP16)进行转换,因此需要使用参数 --data_type=FP16。对于 OpenVINO 2022.3 及更高版本,应使用参数 --compress_to_fp16。您可以在 此处 找到更多详细信息。

均值和比例值

输入图像的模型归一化是通过 --mean_values 和 --scale_values 实现的。默认情况下,ColorCamera/MonoCamera 的帧是 U8 数据类型,范围为 [0,255]。然而,模型通常使用在 [-1,1] 或 [0,1] 范围内归一化的帧进行训练。为了确保准确的推理结果,需要事先对帧进行归一化。尽管创建在推理前归一化帧的自定义模型是一种选择(此处示例),但更有效的方法是在模型优化器步骤中直接使用标志将此归一化包含在模型本身中。以下是一些常见的归一化选项(假设初始输入范围为 [0,255]):
  • 对于需要值介于 0 和 1 之间的输入,使用均值=0 和比例=255,计算为 ([0,255] - 0) / 255 = [0,1]。
  • 对于需要值介于 -1 和 1 之间的输入,使用均值=127.5 和比例=127.5,计算为 ([0,255] - 127.5) / 127.5 = [-1,1]。
  • 对于需要值介于 -0.5 和 0.5 之间的输入,使用均值=127.5 和比例=255,计算为 ([0,255] - 127.5) / 255 = [-0.5,0.5]。
有关更多信息,请参阅 OpenVINO 文档。

模型布局

模型布局可以使用 --layout 参数定义。例如:
Command Line
1--layout NCHW
在以下配置中:
  • N - 批大小
  • C - 通道
  • H - 高度
  • W - 宽度
如果图像布局与模型布局不匹配,DepthAI 将显示相应的错误消息: [NeuralNetwork(0)] [warning] Input image (416x416) does not match NN (3x416)需要注意的是,ColorCamera 节点通常默认以交错/HWC 布局输出 preview 帧,这是 OpenCV 的原生布局。 但是,您可以通过 API 将其切换到平面/CHW 布局:
Python
1import depthai as dai
2pipeline = dai.Pipeline()
3colorCam = pipeline.createColorCamera()
4colorCam.setInterleaved(False) # False = 平面布局
您可以在 OpenVINO 文档中找到更多详细信息。

颜色顺序

神经网络模型通常使用 RGB 颜色顺序的图像进行训练。ColorCamera 节点默认以 BGR 格式输出帧。输入帧和训练模型之间的颜色顺序不匹配可能导致不准确的预测。为了解决这个问题,使用了 --reverse_input_channels 标志。此外,还可以通过 API 将相机输出切换到 RGB,从而无需使用该标志:
Python
1import depthai as dai
2pipeline = dai.Pipeline()
3colorCam = pipeline.createColorCamera()
4colorCam.setColorOrder(dai.ColorCameraProperties.ColorOrder.RGB) # RGB 颜色顺序,默认为 BGR
您可以在 OpenVINO 文档中找到更多详细信息。

模型编译器标志

输入层精度

使用 -ip U8 将在模型的所有输入层上合并 U8->FP16 转换层,这通常是所需的配置。但是,在特定情况下,例如处理帧以外的数据时,直接使用 FP16 精度是必要的。在这种情况下,您可以选择 -ip FP16,如 余弦距离模型示例 所示。

SHAVE

在编译期间增加 SHAVE 的数量可以提高模型的速度,尽管 SHAVE 核心和性能之间的关系不是线性的。固件将提供一个建议的最佳 SHAVE 核心数量,通常是可用核心的一半。

导出示例

本指南将引导您完成将 ResNet18(一种广泛用于图像分类的深度神经网络)导出到 .blob 文件以部署在 OAK 设备上的过程。我们将使用 torchvision 访问模型的预训练版本。
首先,我们将 ResNet18 模型从 PyTorch 导出到 ONNX 格式。
Python
1import torch
2import torchvision.models as models
3
4# 加载 torchvision 中预训练的 ResNet18 模型
5resnet18 = models.resnet18(pretrained=True)
6
7# 将模型设置为评估模式
8resnet18.eval()
9
10# 创建一个与模型输入形状匹配的虚拟输入张量
11dummy_input = torch.randn(1, 3, 224, 224)
12
13# 将模型导出到 ONNX 文件
14torch.onnx.export(
15    resnet18,
16    dummy_input,
17    'resnet18.onnx',
18    export_params=True,
19    opset_version=11,
20    input_names=['input'],
21    output_names=['output']
22)
参数解释:
  • export_params:此标志确保训练参数与模型结构一起导出。
  • opset_version:指定要使用的 ONNX 版本。虽然我们通常使用版本 11 以确保与 ResNet18 的要求兼容,但也可以使用更高版本。
  • input_names 和 output_names:我们使用这些标志来命名模型的输入和输出节点以提高清晰度。在我们的示例中,输入节点名为“input”,输出节点名为“output”。
  • 导出后,您将获得一个名为“resnet18.onnx”的文件,如第三个参数所定义。
我们将使用 BlobConverter 来处理 ONNX 文件到 OpenVINO IR 的转换和编译这两个步骤,而不是手动进行。
  • 访问 BlobConverter 网站。
  • 选择合适的 OpenVINO 版本,在此示例中为 2022.1。
  • 上传 .onnx 文件并在“高级”设置中输入任何必要的模型优化器参数。
  • --data_type:设置为“FP16”,以与 VPU 处理器兼容的精度。
  • --mean_values:设置为 [123.675, 116.28, 103.53]。这些值对应于 ImageNet 数据集中所有图像(ResNet18 在其上训练)的红色、绿色和蓝色通道的平均值。
  • --scale_values:设置为 [58.395, 57.12, 57.375],这是每个通道的标准差。此缩放确保输入图像中的像素值范围与训练数据中的范围匹配,这对于模型正确执行很重要。
  • --reverse_input_channels:使用此标志将 BGR 切换为 RGB,因为 ColorCamera 节点以 BGR 格式输出帧,而模型需要 RGB 图像。
  • 因此,最后,标志应如下所示:
Command Line
1--data_type=FP16 --mean_values=[123.675,116.28,103.53] --scale_values=[58.395,57.12,57.375] --reverse_input_channels
  • 单击 Convert 开始转换,然后在过程完成后下载 .blob 文件。
ResNet18 Conversion
按照这些说明操作后,您将获得一个 resnet18.blob 文件,该文件已准备好在 OAK 设备上进行推理。转换后的模型将期望 BGR 格式的图像,像素值范围为 0 到 255。然后,这些图像将按我们设置的标志缩放到 0 到 1 的范围并进行归一化。