此页面由 AI 自动翻译。查看英文原版
最后更新

本页目录

  • 推理和解析器选择
  • 主机解析器目录
  • 目标检测
  • 分类和分割
  • 关键点和特征匹配
  • 其他输出
  • 实用节点
  • 图像和深度处理
  • 检测处理
  • 消息处理和上传
  • 扩展包
  • 子页面
Claude CodeCodexCursor
Luxonis 智能体工具包为你常用的编程智能体加载 Luxonis 上下文与技能,更快地基于 OAK 开发应用。
安装工具包
最后更新
Python API: depthai_nodes.node用于推理、后处理和主机端消息处理的管道节点。使用 pipeline.create(...) 创建节点并连接它们的输入和输出端口。此包中的类将原生 DepthAI 推理和解析器与 Python 后处理、图像实用程序和自定义消息处理集成在一起。目录内容

推理和解析器选择

ParsingNeuralNetwork 构建神经网络和 NN Archive 指定的原生 DepthAI 解析器。它通过 out 和 getOutput() 以及底层网络的直通流公开解析器输出。HostParsingNeuralNetwork 提供相同的接口,并使用此包中的 Python 解析器实现。ExtendedNeuralNetwork 在 ParsingNeuralNetwork 周围添加了输入大小调整和可选的坐标重映射。ParserGenerator 从 NN Archive 头元数据创建解析器。其 hostOnly=False 默认选择原生 DepthAI 解析器;hostOnly=True 选择此包的实现。此标志选择实现,而不是执行它的设备。原生解析器的放置还取决于 DepthAI 和设备平台。在 RVC2 上,此包报告非检测原生解析器和带掩码输出的检测解析器在主机上运行。大多数原生解析器在 dai.beta.node 中;检测和分割解析器在 dai.node 中。ParsingNeuralNetwork 通过 nnSource 接受存档对象、模型动物园引用或 dai.NNModelDescription。对于本地存档,首先构造 dai.NNArchive(path)。ExtendedNeuralNetwork 通过 nnSource 接受相同的源形式。有关接受的输入和配置,请参阅 ParsingNeuralNetwork.build 和 ExtendedNeuralNetwork.build。

主机解析器目录

主机解析器消耗 dai.NNData 并发出原生 DepthAI 消息。模型元数据必须与解析器预期的张量名称和形状匹配。此目录中的所有解析器都可以从 depthai_nodes.node 或 depthai_nodes.node.parsers 导入。

目标检测

这些解析器发出 dai.ImgDetections,其中包含模型支持的字段。

分类和分割

关键点和特征匹配

这些关键点解析器发出 dai.beta.Keypoints。XFeatMonoParser 从一个源发出 dai.TrackedFeatures;XFeatStereoParser 匹配两个源之间的特征并发出成对的 dai.TrackedFeatures。

其他输出

实用节点

图像和深度处理

  • ApplyColormap:将 2D 地图和掩码着色为 dai.ImgFrame 消息。
  • ApplyDepthColormap:使用百分位归一化处理深度或视差;非正值不参与归一化并显示为黑色。
  • DepthMerger:使用设备校准将 2D 检测和对齐深度组合成 dai.SpatialImgDetections。
  • HostSpatialsCalc:在主机上从深度区域计算空间坐标。
  • FrameCropper:使用检测或 dai.ImageManipConfig 消息组裁剪和调整帧大小,每裁剪一次发出一帧。
  • Tiling:生成平铺的 dai.ImageManipConfig 组并接受运行时配置更改。
  • ImgFrameOverlay:混合两个 dai.ImgFrame 流。

检测处理

消息处理和上传

扩展包

BaseHostNode 为同步 process() 回调提供平台特定的图像格式和日志记录。BaseThreadedHostNode 为具有自己的 run() 循环的节点提供相同的设置。BaseParser 定义了通用的 NNData 输入和解析消息输出接口。解析器实现将张量提取、数组计算和消息发出分开。在发出结果时,记录处理助手上的张量布局和坐标约定,并保留输入元数据。

子页面