最后更新
概述
如果所选模型未针对所需的 RVC 平台进行转换,请参阅 转换 部分。
替代独立 RVC4 推理选项
NeuralNetwork 节点之外,并支持设备 Hexagon Tensor Processor (HTP) 上的硬件加速。安装
Command Line
1pip install depthai-nodes推理管道
- 相机,
- 模型和解析器;
- 队列;
- 结果。
Python
1import depthai as dai
2from depthai_nodes.node import ParsingNeuralNetwork
3
4model = "..." # HubAI 模型标识符,或使用 dai.NNArchive("model.tar.xz")
5
6# 创建管道
7with dai.Pipeline() as pipeline:
8
9 # 相机
10 camera = pipeline.create(dai.node.Camera).build()
11
12 # 模型和解析器
13 nn_with_parser = pipeline.create(ParsingNeuralNetwork).build(
14 camera, model
15 )
16
17 # 队列
18 parser_output_queue = nn_with_parser.out.createOutputQueue()
19
20 # 启动管道
21 pipeline.start()
22
23 while pipeline.isRunning():
24
25 # 结果
26 parser_output = parser_output_queue.get()
27 ...该模板假定一个带有解析器元数据和与连接设备兼容的模型变体的单头模型。您可以使用
pipeline.create(ParsingNeuralNetwork).build(camera, model, fps=15) 限制推理 FPS。相机
Python
1camera_node = pipeline.create(dai.node.Camera).build()模型和解析器
- 自动,使用
ParsingNeuralNetwork节点,或 - 手动,将它们初始化为独立节点并将其链接在一起。
自动设置
ParsingNeuralNetwork 节点封装了一个标准的 NeuralNetwork 节点,并从存档元数据中选择本机 DepthAI 解析器。 使用具有相同构建参数的 HostParsingNeuralNetwork 来选择 Python 主机解析器。这会更改解析器实现,而不是底层推理节点;不可用的本机解析器不会自动回退到 Python。 它可以从 depthai_nodes 包中导入为:Python
1from depthai_nodes.node import ParsingNeuralNetworkPython
1# 设置 NN 存档
2nn_archive = dai.NNArchive("path/to/NNArchiveName.tar.xz")
3
4# 设置模型(带解析器)并将其链接到相机输出
5nn_with_parser = pipeline.create(ParsingNeuralNetwork).build(
6 camera_node, nn_archive
7)Python
1# 设置 HubAI 模型标识符
2model = "..."
3
4# 设置带解析器的模型
5nn_with_parser = pipeline.create(ParsingNeuralNetwork).build(
6 camera_node, model
7)dai.NNModelDescription。纯字符串被视为模型标识符,因此将本地路径包装在 dai.NNArchive(...) 中。 对于下载的模型,如果没有指定平台,包装器会填充连接设备的平台。本地存档必须已经针对正确的平台。 它配置来自所提供相机的输出,并将其链接到模型输入。如果您计划使用私有 HubAI 模型,请确保配置您的 Luxonis Hub API 密钥。说明可在 API 密钥最佳实践 页面上找到。正确设置后,API 密钥将自动应用于验证您对 HubAI 平台的请求。
手动设置
DepthAI 节点解析器或实现您自己的解析器。Python
1# 例如:from depthai_nodes.node import ClassificationParser
2# 或实现您自己的解析器(骨架):
3class ParserNode(dai.node.ThreadedHostNode):
4 def __init__(self) -> None:
5 super().__init__()
6 self.input = self.createInput()
7 self.out = self.createOutput()
8 def build(self) -> "ParserNode":
9 return self
10 def run(self) -> None:
11 while self.isRunning():
12 nn_out_raw = self.input.get()
13 nn_out_processed = ... # 替换为您的后处理和消息创建
14 self.out.send(nn_out_processed)create() 方法将模型和解析器初始化为独立节点:Python
1model = pipeline.create(dai.node.NeuralNetwork)
2parser = pipeline.create(ParserNode)- 在初始化时,可以通过将参数值作为参数传递给
create()方法来设置配置:parser = pipeline.create(<ParserNode>, <ParameterName>=<ParameterValue>, ...)如果配置多个参数,您可以将它们排列成一个dict并将其作为参数传递给解析器build()方法:parser = pipeline.create(ParserNode).build(config_dict); - 初始化后,可以通过使用 setter 方法更改配置:
parser.<SetterMethodName>(<ParameterValue>)。 您可以在 DepthAI 节点 API 参考 页面上找到特定解析器的所有可用 setter 方法。
.blob 或 RVC4 的 .dlc 文件):Python
1model.setModelPath("path/to/model_executable")Python
1width, height = 640, 640 # 替换为您的模型输入大小
2camera_stream = camera_node.requestOutput(size=(width, height))
3camera_stream.link(model.input)
4model.out.link(parser.input)对于自定义解析器,请参阅
BaseParser。要在手动管道中从 NN 存档元数据创建和配置解析器,请使用 ParserGenerator。队列
Python
1frame_queue = nn_with_parser.passthrough.createOutputQueue()单头
Python
1parser_output_queue = nn_with_parser.out.createOutputQueue()多头
Python
1head0_parser_output_queue = nn_with_parser.getOutput(0).createOutputQueue()
2head1_parser_output_queue = nn_with_parser.getOutput(1).createOutputQueue()
3...nn_with_parser.outputs.createOutputQueue()。它发出以字符串头索引(例如 "0" 和 "1")为键的 dai.MessageGroup 消息。out 属性需要一个头;outputs 需要多个头。结果
pipeline.start() 启动后,可以从定义的队列中获取输出。 您可以获取输入帧和解析的模型输出,如下所示:Python
1while pipeline.isRunning():
2
3 # 获取相机输出
4 frame_queue_output = frame_queue.get()
5 frame = frame_queue_output.getCvFrame()
6 ...
7
8 # 获取解析输出
9 parser_output = parser_output_queue.get()
10 ...dai.ImgDetections、dai.SegmentationMask 和 dai.beta 类型,例如 Classifications 和 Keypoints。 有关格式以及用于分组和上传的单独自定义容器,请参阅 消息参考。示例
故障排除
设置模型 SHAVE
Command Line
1NeuralNetwork: Blob compiled for ... shaves, but only ... are available in current configurationCommand Line
1[14442C103180EECF00] [2.1] [4.736] [NeuralNetwork(2)] [warning] Network compiled for 8 shaves, maximum available 13, compiling for 6 shaves likely will yield in better performance- 如果模型是使用旧版 Blobconverter 导出的,您可以重新编译模型以匹配 SHAVE 数量,或者
- 如果 NN 存档包含具有合适编译变体的超级 blob,则无需重新编译。在配置解析器和队列之前,在原生网络上选择 SHAVE 数量。这需要一个超级 blob,而不仅仅是任何从 Hub AI 导出的存档:
Python
1nn_archive = dai.NNArchive("model.tar.xz")
2model = pipeline.create(dai.node.NeuralNetwork).build(camera_node, nn_archive)
3# 需要一个具有兼容的六 SHAVE 变体的超级 blob。
4model.setNNArchive(nn_archive, numShaves=6)旧的
SHAVE 配置方法在 DepthAI v3 中不再受支持。避免使用:Python
1nn = pipeline.create(dai.node.NeuralNetwork)
2nn.setNumShaves(6)更改解析器参数
- 带有单独解析器节点的管道: 直接访问解析器节点。
- 带有
ParsingNeuralNetwork节点的管道: 在这种情况下,解析器与 AI 模型集成。 通过调用ParsingNeuralNetwork节点上的.getParser()方法来检索它。
dai.node.DetectionParser 使用:Python
1parser.setConfidenceThreshold(0.5)不同的可视化和模型输入大小
ImageManip 节点在将图像发送到模型之前调整图像大小,同时保持原始分辨率以供显示。示例:Python
1cam = pipeline.create(dai.node.Camera).build()
2
3# 请求特定的图像大小进行捕获
4cam_out = cam.requestOutput(size=(1280, 720))
5
6# 为模型输入创建和配置调整大小节点
7resize_node = pipeline.create(dai.node.ImageManip)
8resize_node.initialConfig.setOutputSize(640, 640) # 使用您的模型输入大小
9cam_out.link(resize_node.inputImage)
10
11# 定义具有调整大小输入的模型
12nn_with_parser: ParsingNeuralNetwork = pipeline.create(ParsingNeuralNetwork).build(
13 resize_node.out, ...
14)
15
16# 使用原始分辨率进行可视化
17video_queue = cam_out.createOutputQueue() # 高分辨率流
18detection_queue = nn_with_parser.out.createOutputQueue() # 低分辨率流上的检测
19...CoordinatesMapper。从 HubAI 下载模型时的模型位置
dai.getModelFromZoo() 中的 cacheDirectory 或 DEPTHAI_ZOO_CACHE_PATH 环境变量选择位置;它不一定是项目根目录。 如果模型已缓存,则会从本地加载,而不是重新下载。 要强制重新下载,可以使用 useCached=False 参数下载模型。 示例:Python
1nn_archive = dai.NNArchive(dai.getModelFromZoo(model_description, useCached=False))
2nn_with_parser = pipeline.create(ParsingNeuralNetwork).build(
3 ..., nn_archive
4)延伸阅读
RVC4 上的并发模型执行
HTP 上的资源分配
- HTP 计算核心和 V-TCM 内存弹性地共享给所有并发 SNPE 会话。
- 内部调度程序使用循环策略;资源分配在多个模型之间不固定,并且可能因帧而异。
控制旋钮
- 不支持资源转向。没有每个模型的优先级、核心亲和性或配额 API。唯一的全局杠杆是
--perf_profile标志,它会影响 SoC 级别的功耗/性能权衡。
实用指导
- 假设当新的/并发会话启动或停止时,延迟和吞吐量会波动。
- 使用 SNPE 计时日志(例如分层分析)来测量端到端延迟,而不是猜测资源份额。