node
最后更新
depthai_nodes.node用于推理、后处理和主机端消息处理的管道节点。使用 pipeline.create(...) 创建节点并连接它们的输入和输出端口。此包中的类将原生 DepthAI 推理和解析器与 Python 后处理、图像实用程序和自定义消息处理集成在一起。目录内容推理和解析器选择
out 和 getOutput() 以及底层网络的直通流公开解析器输出。HostParsingNeuralNetwork 提供相同的接口,并使用此包中的 Python 解析器实现。ExtendedNeuralNetwork 在 ParsingNeuralNetwork 周围添加了输入大小调整和可选的坐标重映射。ParserGenerator 从 NN Archive 头元数据创建解析器。其 hostOnly=False 默认选择原生 DepthAI 解析器;hostOnly=True 选择此包的实现。此标志选择实现,而不是执行它的设备。原生解析器的放置还取决于 DepthAI 和设备平台。在 RVC2 上,此包报告非检测原生解析器和带掩码输出的检测解析器在主机上运行。大多数原生解析器在 dai.beta.node 中;检测和分割解析器在 dai.node 中。ParsingNeuralNetwork 通过 nnSource 接受存档对象、模型动物园引用或 dai.NNModelDescription。对于本地存档,首先构造 dai.NNArchive(path)。ExtendedNeuralNetwork 通过 nnSource 接受相同的源形式。有关接受的输入和配置,请参阅 ParsingNeuralNetwork.build 和 ExtendedNeuralNetwork.build。示例
从模型动物园引用构建原生分割推理:将
Text
1import depthai as dai
2from depthai_nodes.node import ParsingNeuralNetwork
3
4with dai.Pipeline() as pipeline:
5 camera = pipeline.create(dai.node.Camera).build()
6 nn = pipeline.create(ParsingNeuralNetwork).build(
7 camera,
8 nnSource="luxonis/mediapipe-selfie-segmentation:256x144",
9 )
10 results = nn.out.createOutputQueue()
11 pipeline.start()
12 mask = results.get()ParsingNeuralNetwork 替换为 HostParsingNeuralNetwork 以选择主机解析器实现。主机解析器目录
dai.NNData 并发出原生 DepthAI 消息。模型元数据必须与解析器预期的张量名称和形状匹配。此目录中的所有解析器都可以从 depthai_nodes.node 或 depthai_nodes.node.parsers 导入。目标检测
- DetectionParser:通用边界框和分数张量。
- YOLOExtendedParser:支持 YOLO 检测、姿态和实例分割变体。
- YuNetParser 和 SCRFDParser:人脸检测。
- MPPalmDetectionParser:MediaPipe 手掌检测。
- PPTextDetectionParser:PaddleOCR 文本检测。
- RFDETRParser:RF-DETR 检测和可选实例掩码。
dai.ImgDetections,其中包含模型支持的字段。分类和分割
- ClassificationParser:
dai.beta.Classifications中的类名和分数。 - ClassificationSequenceParser:
dai.beta.Classifications中的每步分类,包括文本识别。 - SegmentationParser:
dai.SegmentationMask中的语义掩码。 - FastSAMParser:
dai.SegmentationMask中的提示分割。
关键点和特征匹配
- KeypointParser:2D 或 3D 关键点张量。
- HRNetParser:来自热图的身体关键点。
- SuperAnimalParser:来自热图的动物地标。
dai.beta.Keypoints。XFeatMonoParser 从一个源发出 dai.TrackedFeatures;XFeatStereoParser 匹配两个源之间的特征并发出成对的 dai.TrackedFeatures。其他输出
- LaneDetectionParser:
dai.beta.Clusters中的 UFLD 车道点。 - MLSDParser:
dai.beta.Lines中的线检测。 - EmbeddingsParser:直通
dai.NNData嵌入输出。 - RegressionParser:
dai.beta.Predictions中的回归值。 - MapOutputParser:
dai.beta.Map2D中的数字地图,包括深度估计。 - ImageOutputParser:
dai.ImgFrame中的图像到图像结果。
实用节点
图像和深度处理
- ApplyColormap:将 2D 地图和掩码着色为
dai.ImgFrame消息。 - ApplyDepthColormap:使用百分位归一化处理深度或视差;非正值不参与归一化并显示为黑色。
- DepthMerger:使用设备校准将 2D 检测和对齐深度组合成
dai.SpatialImgDetections。 - HostSpatialsCalc:在主机上从深度区域计算空间坐标。
- FrameCropper:使用检测或
dai.ImageManipConfig消息组裁剪和调整帧大小,每裁剪一次发出一帧。 - Tiling:生成平铺的
dai.ImageManipConfig组并接受运行时配置更改。 - ImgFrameOverlay:混合两个
dai.ImgFrame流。
检测处理
- CoordinatesMapper:将支持的消息从裁剪或平铺映射到目标图像变换,包括地图和掩码像素。
- ImgDetectionsFilter:按标签、置信度或区域过滤原生检测,可选抑制、排序和计数限制。
- InstanceToSemanticMask:用检测类标签替换实例 ID。
示例
使用现有管道和生成检测的 这将保留类别 0 的检测,按置信度降序排列,并最多保留十个。
nn.out 流:Text
1from depthai_nodes.node import ImgDetectionsFilter
2
3filtered = pipeline.create(ImgDetectionsFilter).build(nn.out)
4filtered.keepLabels([0]).minConfidence(0.5).sortByConfidence().takeFirstK(10)rejectLabels([0]) 则排除类别 0。消息处理和上传
- GatherData:为每个引用收集可配置数量的时间戳匹配消息,并将其收集到 depthai_nodes.message.GatheredData 中。默认计数是引用消息中的检测数量。
- MessageCollector:在半帧间隔内批量处理消息,将其收集到 depthai_nodes.message.Collection 中,当较新的时间戳超出匹配窗口时发出。
- SnapsUploader:接受 depthai_nodes.message.SnapData 并将上传和可选的离线缓存委托给原生 EventsManager。
扩展包
process() 回调提供平台特定的图像格式和日志记录。BaseThreadedHostNode 为具有自己的 run() 循环的节点提供相同的设置。BaseParser 定义了通用的 NNData 输入和解析消息输出接口。解析器实现将张量提取、数组计算和消息发出分开。在发出结果时,记录处理助手上的张量布局和坐标约定,并保留输入元数据。子页面
- parsers
- utils
- apply_colormap
- apply_depth_colormap
- base_host_node
- base_threaded_host_node
- coordinates_mapper
- depth_merger
- extended_neural_network
- frame_cropper
- gather_data
- host_parsing_neural_network
- host_spatials_calc
- img_detections_filter
- img_frame_overlay
- instance_to_semantic_mask
- message_collector
- parser_generator
- parsing_neural_network
- snaps_uploader
- tiling