此页面由 AI 自动翻译。查看英文原版
最后更新

本页目录

  • 概述
  • 简化模型(可选)
  • 编译 OpenVINO IR
  • 量化(仅限 RVC3)
  • 编译 BLOB
  • 高级
  • 模型优化器
  • 编译工具
Claude CodeCodexCursor
Luxonis 智能体工具包为你常用的编程智能体加载 Luxonis 上下文与技能,更快地基于 OAK 开发应用。
安装工具包

使用 OpenVino 进行手动转换(RVC2 和 RVC3)

最后更新

概述

RVC2 和 RVC3 的转换基于 OpenVINO 工具包。 ModelConverter Docker 镜像提供了所有必要的工具。 安装 ModelConverter CLI 如下:
Command Line
1pip install modelconv
并运行:
Command Line
1modelconverter shell <platform>
其中 platform 代表您要转换的目标平台,可以是 rvc2 或 rvc3。这等同于从 luxonis/modelconverter-<platform>:latest 镜像启动一个新的 Docker 容器, 并将其作为交互式终端会话 (-it) 运行,并带有 --rm 标志,以确保会话退出后容器自动删除:
Command Line
1docker run --rm -it \
2    -v $(pwd)/shared_with_container:/app/shared_with_container/ \
3    luxonis/modelconverter-<platform>:latest
或者,您也可以通过运行以下命令自行安装 OpenVino 工具包:
Command Line
1pip install openvino-dev==2022.3
在以下部分中,我们将逐步解释转换过程。

简化模型(可选)

为了获得性能最佳的模型,我们建议在转换步骤之前运行模型简化。 对于 .onnx 模型,您可以运行简化如下:
Command Line
1pip install onnxsim
2onnxsim <path to .onnx model> <path to simplified .onnx model>

编译 OpenVINO IR

模型首先从其原始格式转换为 OpenVINO 中间表示 (IR) 格式。 它由两个文件组成,一个编码网络拓扑(.xml 文件),另一个存储模型的权重和偏差(.bin 文件)。 OpenVINO 模型优化器 (v2022.3.0) 用于此转换作业,支持以下源模型格式:
  • ONNX
  • TensorFlow
  • PyTorch
  • PaddlePaddle
  • MXNet
  • Kaldi
  • Caffe
要将模型转换为 IR,请运行:
Command Line
1mo --input_model <path to the (un-)simplified source model> --compress_to_fp16
请注意,建议使用 --compress_to_fp16 参数以在我们的设备上获得最佳性能。 您可以在此处找到更多详细信息。

量化(仅限 RVC3)

如果为 RVC3 转换,则必须在使用 OpenVINO 训练后优化工具包 (POT) 编译为 BLOB 之前执行模型量化。 请参阅以下示例以获取指导。

编译 BLOB

一旦模型转换为 OpenVINO 的 IR 格式,下一步就是将其编译为 MYRIAD 设备上的推理,并将其转换为 BLOB 格式。 OpenVINO 编译工具 (v2022.3.0) 用于此作业。要将模型从 IR 转换为 BLOB,请运行:
Command Line
1compile_tool -d MYRIAD -m <path to .xml model (make sure that .bin is at the same root)>
请注意,编译工具是 OpenVINO 工具包的一部分。 如果您手动安装了它,其位置将取决于您的安装路径。 通常,它位于 OpenVINO 安装的 .../tools/compile_tool 目录中。 您可以运行它如下:
Command Line
1cd .../tools/compile_tool
2./compile_tool -d MYRIAD -m ...

高级

模型优化器

均值和比例值

通过 --mean_values 和 --scale_values 实现输入图像的模型归一化。 默认情况下,Camera 节点的帧是 U8 数据类型,范围为 [0,255]。然而,模型通常使用在 [-1,1] 或 [0,1] 范围内的归一化帧进行训练。 为了确保准确的推理结果,需要事先对帧进行归一化。尽管创建在推理前归一化帧的自定义模型是一种选择 (此处示例), 但更有效的方法是在模型优化器步骤中使用标志将此归一化直接包含在模型中。以下是一些常见的归一化选项(假设初始输入范围为 [0,255]):
  • 对于需要值在 0 到 1 之间的输入,使用 mean=0 和 scale=255,计算为 ([0,255] - 0) / 255 = [0,1]。
  • 对于需要值在 -1 到 1 之间的输入,使用 mean=127.5 和 scale=127.5,计算为 ([0,255] - 127.5) / 127.5 = [-1,1]。
  • 对于需要值在 -0.5 到 0.5 之间的输入,使用 mean=127.5 和 scale=255,计算为 ([0,255] - 127.5) / 255 = [-0.5,0.5]。
有关更多信息,请参阅 OpenVINO 的文档。

模型布局

可以使用 --layout 参数定义模型布局。例如:
Command Line
1--layout NCHW
在以下配置中:
  • N - 批大小
  • C - 通道
  • H - 高度
  • W - 宽度
如果图像布局与模型布局不匹配,DepthAI 将显示相应的错误消息: [NeuralNetwork(0)] [warning] Input image (416x416) does not match NN (3x416)您可以通过 API 在请求输出时在交错 / HWC 和平面 / CHW 布局之间切换:
Python
1import depthai as dai
2pipeline = dai.Pipeline()
3cam = pipeline.create(dai.node.Camera).build()
4output = cam.requestOutput(
5    size=SIZE, type=dai.ImgFrame.Type.BGR888i # 或 BGR888p (i 代表交错,p 代表平面)
6)
您可以在 OpenVINO 的文档中找到更多详细信息。

颜色顺序

神经网络模型通常使用 RGB 颜色顺序的图像进行训练。Camera 节点默认输出 BGR 格式的帧。 输入帧和训练模型之间的颜色顺序不匹配可能导致不准确的预测。为了解决这个问题,使用了 --reverse_input_channels 标志。此外,还可以通过 API 将相机输出切换到 RGB,从而无需使用该标志:
Python
1import depthai as dai
2pipeline = dai.Pipeline()
3cam = pipeline.create(dai.node.Camera).build()
4output = cam.requestOutput(
5    size=SIZE, type=dai.ImgFrame.Type.RGB888p
6)
您可以在 OpenVINO 的文档中找到更多详细信息。

编译工具

输入层精度

使用 -ip U8 将在模型的所有输入层上合并 U8->FP16 转换层, 这通常是所需的配置。但是,在特定场景中,例如处理非帧数据时, 直接使用 FP16 精度是必要的。在这种情况下,您可以选择 -ip FP16。

Shaves

在编译期间增加 SHAVE 的数量可以提高模型的速度,尽管 SHAVE 核心与性能之间的关系不是线性的。 固件将提供一个警告,建议最佳的 SHAVE 核心数量,通常是可用核心的一半。