概述
- 将模型导出为
ONNX, - 将其打包为 NN Archive,
- 使用 HubAI 将其转换为 RVC4 存档,以及
- 使用 DepthAI 节点 运行它。
1.7.1 和 RF-DETR Nano 验证,但只要存在相关模块,相同的通用方法也可用于其他 RF-DETR 变体。如果您只需要一个即用型模型,RF-DETR Nano 已在 模型库 中提供:RF-DETR Nano 模型卡 和 RF-DETR Nano 实例分割模型卡。 以下步骤主要关注检测模型,但相同的过程也可应用于实例分割变体,如链接的笔记本中所示。用法
有关完整的端到端笔记本,请参阅 RF-DETR RVC4 转换教程。
主要步骤
- 安装所需的包并在已知良好版本下克隆官方
rf-detr存储库。 - 在导出之前应用一个小的运行时类注入,以便生成的 ONNX 图与 RVC4 转换流程兼容,而无需修改上游 RF-DETR 源代码树。
- 将模型导出为
ONNX,输入固定为384x384,opset为17。 - 创建一个 NN Archive,描述模型输入、输出、预处理以及运行时使用的
RFDETRParser头。 - 使用 HubAI SDK 将存档转换为 RVC4。
- 使用 DepthAI 推理管道 运行生成的
.rvc4.tar.xz存档。
导出兼容性更改
- 窗口化 DINOv2 主干在图像窗口合并回完整的空间特征图时进行调整,
MSDeformAttn模块在多尺度可变形注意力计算采样位置和注意力权重时进行调整。
导出到 ONNX
Python
1from rfdetr import RFDETRNano
2from rvc4_class_injection import apply_rvc4_class_injection
3
4model = RFDETRNano()
5apply_rvc4_class_injection(model, require=True, verbose=True)
6
7model.export(
8 output_dir="onnx_model",
9 shape=(384, 384),
10 batch_size=1,
11 dynamic_batch=False,
12 opset_version=17,
13 format="onnx",
14)创建 NN Archive
input 张量、dets 和 labels 输出以及 RFDETRParser 头,以便可以自动配置运行时解析:Python
1from luxonis_ml.nn_archive.archive_generator import ArchiveGenerator
2
3generator = ArchiveGenerator(
4 archive_name="rfdetr-nano-onnx",
5 save_path=".",
6 cfg_dict=cfg_dict,
7 executables_paths=["onnx_model/rfdetr-nano.onnx"],
8)
9
10archive_path = generator.make_archive()将 NN Archive 转换为 RVC4
Python
1import os
2from hubai_sdk import HubAIClient
3
4client = HubAIClient(api_key=os.environ["HUBAI_API_KEY"])
5
6response = client.convert.RVC4(
7 path="rfdetr-nano-onnx.tar.xz",
8 name="rfdetr-nano-rvc4",
9 quantization_mode="FP16_STANDARD",
10 tool_version="2.41.0",
11 output_dir=".",
12)
13
14print(response.downloaded_path)rfdetr-nano-onnx.rvc4.tar.xz。小型推理示例
RFDETRParser,所以 ParsingNeuralNetwork 可以自动连接解析器:Python
1from pathlib import Path
2
3import depthai as dai
4from depthai_nodes.node.parsing_neural_network import ParsingNeuralNetwork
5
6MODEL_PATH = Path("rfdetr-nano-onnx.rvc4.tar.xz")
7nn_archive = dai.NNArchive(str(MODEL_PATH))
8visualizer = dai.RemoteConnection(httpPort=8082)
9
10with dai.Pipeline() as pipeline:
11 cam = pipeline.create(dai.node.Camera).build(sensorFps=10)
12 cam_out = cam.requestOutput(
13 size=(384, 384),
14 fps=10,
15 type=dai.ImgFrame.Type.BGR888i,
16 )
17
18 nn_with_parser = pipeline.create(ParsingNeuralNetwork).build(
19 input=cam_out,
20 nn_source=nn_archive,
21 )
22
23 visualizer.addTopic(topicName="rgb", output=nn_with_parser.passthrough)
24 visualizer.addTopic(topicName="detections", output=nn_with_parser.out)
25
26 pipeline.start()
27 visualizer.registerPipeline(pipeline)
28
29 while pipeline.isRunning():
30 pipeline.processTasks()