DepthAI v2 has been superseded by DepthAI v3. You are viewing legacy documentation.
此页面由 AI 自动翻译。查看英文原版
最后更新

本页目录

  • 使用 Script 节点
  • 创建自定义神经网络模型
  • 支持的层
  • 创建自定义 OpenCL 内核
Claude CodeCodexCursor
Luxonis 智能体工具包为你常用的编程智能体加载 Luxonis 上下文与技能,更快地基于 OAK 开发应用。
安装工具包

设备端编程

最后更新
虽然由于原生工具的封闭性,常规的(固件)设备端开发是不可能的,但我们仍然提供了几种运行自定义代码的替代方法:
  1. 脚本编写 - 使用 Python 3.9 和 Script 节点
  2. 创建您自己的神经网络模型 以运行计算量更大的功能
  3. 创建自定义 OpenCL 内核

使用 Script 节点

使用 Script 节点 允许您在设备本身上运行自定义 Python 脚本,这使用户在构建管道时具有更大的灵活性。当您需要串联使用多个神经网络并在将图像馈送到第二个神经网络之前处理第一个神经网络的输出时,Script 节点也非常有用。这里的示例是 人脸年龄/性别识别 演示 - 第一个神经网络将检测人脸,将检测结果传递给 Script 节点,该节点将创建 ImageManipConfig 以裁剪原始帧,然后仅将裁剪后的人脸帧馈送给 人脸年龄/性别识别 神经网络。对于运行计算量大的功能(例如,图像滤镜),出于性能原因,您可能希望避免使用 Script 节点,而选择下面描述的两种选项之一。

创建自定义神经网络模型

您可以使用您喜欢的神经网络库创建自定义模型,将模型转换为 OpenVINO,然后将其编译为 .blob。有关此主题的更多信息,请参阅 将模型转换为 MyriadX blob 文档。请参阅 计算机视觉 页面以了解更多信息。

支持的层

将模型转换为 OpenVINO 的 IR 格式(.bin 和 .xml)时,您必须检查 OpenVINO 是否支持所使用的层。以下是各种框架支持的层及其限制:

创建自定义 OpenCL 内核

创建自定义神经网络模型有一些限制,例如,OpenVINO/VPU 支持的层。为了避免这些限制,您可以考虑创建自定义 OpenCL 内核并将其编译为 VPU。此内核将在 VPU 上的 SHAVE 核心上运行。还应考虑到此选项对用户不太友好。我们计划创建一个关于如何开发这些内核并在 OAK 摄像头上运行它们的教程。