使用 OpenVino 进行手动转换(RVC2 和 RVC3)
最后更新
概述
Command Line
1pip install modelconvCommand Line
1modelconverter shell <platform>platform 代表您要转换的目标平台,可以是 rvc2 或 rvc3。这等同于从 luxonis/modelconverter-<platform>:latest 镜像启动一个新的 Docker 容器, 并将其作为交互式终端会话 (-it) 运行,并带有 --rm 标志,以确保会话退出后容器自动删除:Command Line
1docker run --rm -it \
2 -v $(pwd)/shared_with_container:/app/shared_with_container/ \
3 luxonis/modelconverter-<platform>:latestCommand Line
1pip install openvino-dev==2022.3简化模型(可选)
.onnx 模型,您可以运行简化如下:Command Line
1pip install onnxsim
2onnxsim <path to .onnx model> <path to simplified .onnx model>编译 OpenVINO IR
.xml 文件),另一个存储模型的权重和偏差(.bin 文件)。 OpenVINO 模型优化器 (v2022.3.0) 用于此转换作业,支持以下源模型格式:- ONNX
- TensorFlow
- PyTorch
- PaddlePaddle
- MXNet
- Kaldi
- Caffe
Command Line
1mo --input_model <path to the (un-)simplified source model> --compress_to_fp16--compress_to_fp16 参数以在我们的设备上获得最佳性能。 您可以在此处找到更多详细信息。请查阅
mo --help 以获取完整的转换选项列表。如果计划在 Luxonis 生态系统中使用您的模型,我们建议您设置标志,使模型期望未归一化的 BGR 输入。因此,如果模型期望 RGB 输入或归一化,请务必设置 --reverse_input_channels、--mean_values 和 --scale_values 标志。量化(仅限 RVC3)
编译 BLOB
Command Line
1compile_tool -d MYRIAD -m <path to .xml model (make sure that .bin is at the same root)>.../tools/compile_tool 目录中。 您可以运行它如下:Command Line
1cd .../tools/compile_tool
2./compile_tool -d MYRIAD -m ...请查阅
compile_tool -h 以获取完整的转换选项列表。高级
模型优化器
均值和比例值
--mean_values 和 --scale_values 实现输入图像的模型归一化。 默认情况下,Camera 节点的帧是 U8 数据类型,范围为 [0,255]。然而,模型通常使用在 [-1,1] 或 [0,1] 范围内的归一化帧进行训练。 为了确保准确的推理结果,需要事先对帧进行归一化。尽管创建在推理前归一化帧的自定义模型是一种选择 (此处示例), 但更有效的方法是在模型优化器步骤中使用标志将此归一化直接包含在模型中。以下是一些常见的归一化选项(假设初始输入范围为 [0,255]):- 对于需要值在 0 到 1 之间的输入,使用 mean=0 和 scale=255,计算为
([0,255] - 0) / 255 = [0,1]。 - 对于需要值在 -1 到 1 之间的输入,使用 mean=127.5 和 scale=127.5,计算为
([0,255] - 127.5) / 127.5 = [-1,1]。 - 对于需要值在 -0.5 到 0.5 之间的输入,使用 mean=127.5 和 scale=255,计算为
([0,255] - 127.5) / 255 = [-0.5,0.5]。
模型布局
--layout 参数定义模型布局。例如:Command Line
1--layout NCHW- N - 批大小
- C - 通道
- H - 高度
- W - 宽度
[NeuralNetwork(0)] [warning] Input image (416x416) does not match NN (3x416)您可以通过 API 在请求输出时在交错 / HWC 和平面 / CHW 布局之间切换:Python
1import depthai as dai
2pipeline = dai.Pipeline()
3cam = pipeline.create(dai.node.Camera).build()
4output = cam.requestOutput(
5 size=SIZE, type=dai.ImgFrame.Type.BGR888i # 或 BGR888p (i 代表交错,p 代表平面)
6)颜色顺序
Camera 节点默认输出 BGR 格式的帧。 输入帧和训练模型之间的颜色顺序不匹配可能导致不准确的预测。为了解决这个问题,使用了 --reverse_input_channels 标志。此外,还可以通过 API 将相机输出切换到 RGB,从而无需使用该标志:Python
1import depthai as dai
2pipeline = dai.Pipeline()
3cam = pipeline.create(dai.node.Camera).build()
4output = cam.requestOutput(
5 size=SIZE, type=dai.ImgFrame.Type.RGB888p
6)编译工具
输入层精度
-ip U8 将在模型的所有输入层上合并 U8->FP16 转换层, 这通常是所需的配置。但是,在特定场景中,例如处理非帧数据时, 直接使用 FP16 精度是必要的。在这种情况下,您可以选择 -ip FP16。