概览硬件软件云平台

本页目录

  • 在设备上运行您自己的 CV 功能
  • 使用 PyTorch 创建自定义模型
  • Kornia

计算机视觉

我们的平台支持在设备上执行计算机视觉（CV）功能。虽然无法运行 OpenCV，但您可以使用其许多支持的功能。借助 DepthAI，您可以：
  • 裁剪、旋转、变形/去畸变、镜像、翻转、透视变换等，使用 ImageManip
  • 边缘检测（Sobel 滤波器），使用 EdgeDetector
  • 特征检测与跟踪，使用 FeatureTracker
  • 对象跟踪（卡尔曼滤波、匈牙利算法），使用 ObjectTracker 开箱即用支持 Yolo 和 MobileNet 目标检测器。
  • 立体深度感知（Census 变换、代价匹配与聚合），使用 StereoDepth
DepthAI 计算机视觉
如果您想使用其他 CV 功能，请参阅以下指南，了解如何在设备的硬件加速模块上高效实现和运行 CV 功能。

在设备上运行您自己的 CV 功能

演示：

使用 PyTorch 创建自定义模型

为了本指南的说明，我们将创建一个简单的模型，将三帧拼接为一帧。这是一个简单的例子，但您可以使用相同的过程创建更复杂的模型。

TL;DR

如果您只对实现感兴趣

我们首先需要创建一个继承 PyTorch 的 nn.Module 的 Python 类。然后，我们可以将 NN 逻辑放在所创建类的 forward 函数中。在帧拼接的例子中，我们可以使用 torch.cat 函数将多帧拼接起来：
Python
1class CatImgs(nn.Module):
2    def forward(self, img1, img2, img3):
3        return torch.cat((img1, img2, img3), 3)
对于更复杂的模块，请参考 Kunal Tyagi 的 PyTorch Harris 角点检测 演示。请记住，VPU 仅支持 FP16，这意味着最大值为 65504。当相乘多个值时，如果不正确归一化/除值，可能会很快溢出。
由于 PyTorch 不被 OpenVINO 直接支持，我们首先需要将模型导出为 onnx 格式，然后再转换为 OpenVINO 格式。PyTorch 具有 对 onnx 的内置支持，因此导出为 onnx 非常简单：
Python
1# 对于 300x300 的帧
2X = torch.ones((1, 3, 300, 300), dtype=torch.float32)
3torch.onnx.export(
4    CatImgs(),
5    (X, X, X), # 用于形状的虚拟输入
6    "path/to/model.onnx",
7    opset_version=12,
8    do_constant_folding=True,
9)
这将把拼接模型导出为 onnx 格式。我们可以使用 Netron 应用 可视化创建的模型：
Netron 应用可视化
当将模型导出为 onnx 时，PyTorch 的效率并不高。它会创建大量不必要的操作/层，从而增加网络的尺寸（可能导致较低的 FPS）。因此，我们建议使用 onnx-simplifier，这是一个简单的 Python 包，可以移除不必要的操作/层。
Python
1import onnx
2from onnxsim import simplify
3
4onnx_model = onnx.load("path/to/model.onnx")
5model_simplified, check = simplify(onnx_model)
6onnx.save(model_simplified, "path/to/simplified/model.onnx")
以下是一个示例，展示了使用 onnx-simplifier 进行简化的显著效果。左侧是直接从 PyTorch 导出的模糊模型（来自 Kornia），右侧是相同功能的简化网络：
模糊模型对比
现在我们有了一个（简化后的）onnx 模型，可以将其转换为 OpenVINO 格式，然后转换为 .blob 格式。有关转换模型的更多信息，请参见 转换指南。通常，首先使用 OpenVINO 的模型优化器 将 onnx 转换为 IR 格式（.bin/.xml），然后使用 Compile 工具 编译为 .blob。但我们也可以使用 blobconverter 将 onnx 直接转换为 .blob。Blobconverter 可以一步完成这两个步骤——无需安装 OpenVINO。您可以像这样编译您的 onnx 模型：
Python
1import blobconverter
2
3blobconverter.from_onnx(
4    model="/path/to/model.onnx",
5    output_dir="/path/to/output/model.blob",
6    data_type="FP16",
7    shaves=6,
8    use_cache=False,
9    optimizer_params=[]
10)
现在，您可以使用 NeuralNetwork 节点来加载您的 .blob 模型。请查看 oak-examples/custom-models 以运行使用这些自定义模型的演示应用程序。

Kornia

Kornia，“最先进且经过精心挑选的AI计算机视觉算法”，拥有一套在PyTorch中实现的常见计算机视觉算法。这使得用户能够执行类似以下操作：
Python
1import kornia
2
3class Model(nn.Module):
4    def forward(self, image):
5        return kornia.filters.gaussian_blur2d(image, (9, 9), (2.5, 2.5))
并使用与 使用PyTorch创建自定义模型 完全相同的流程来实现帧模糊效果，如下图所示：
帧模糊