DepthAI v2 has been superseded by DepthAI v3. You are viewing legacy documentation.
此页面由 AI 自动翻译。查看英文原版
最后更新

本页目录

  • 输入帧宽高比不匹配
  • 裁剪
  • 信箱模式
  • 拉伸
  • 以高分辨率显示检测结果
  • 直通
  • 裁剪高分辨率帧
  • 拉伸帧
  • 编辑边界框
Claude CodeCodexCursor
Luxonis 智能体工具包为你常用的编程智能体加载 Luxonis 上下文与技能,更快地基于 OAK 开发应用。
安装工具包

神经网络分辨率技术

最后更新
在运行与输入帧宽高比 (AR) 不匹配的神经网络时,存在两个主要挑战:
  • 输入帧宽高比不匹配 - 当您的神经网络模型期望的宽高比与传感器的宽高比不同时
  • 神经网络输出的可视化 - 当您想以更高分辨率可视化神经网络输出时

输入帧宽高比不匹配

当您的 NN 模型期望的宽高比(例如 1:1)与 传感器宽高比(例如 4:3)不同,并且我们希望在传感器的完整 FOV 上运行 NN 推理时,就会出现挑战。假设我们有一个 MobileNet-SSD,它期望 300x300 的输入帧(1:1 宽高比),并且我们希望在传感器的完整 FOV 上运行推理 - 我们有几个选择:
  1. 将 ISP 帧裁剪为 1:1 宽高比并损失部分 FOV
  2. 将 ISP 帧拉伸到 NN 的 1:1 宽高比
  3. 对 ISP 帧应用信箱模式以获得 1:1 宽高比的帧

裁剪

优点:神经网络准确性不降低。缺点:帧被裁剪,因此不是完整 FOV。裁剪完整 FOV (isp) 帧以匹配 NN 宽高比可用于获得最佳 NN 准确性,但这会降低 FOV。 用法示例在此。

信箱模式

优点:保留完整 FOV。缺点:较小的“帧”意味着较少的特征可能会降低 NN 准确性。信箱模式方法将在完整 FOV (isp) 帧的上方和下方应用“黑边”,从而保留宽高比。您可以使用 ImageManip 和 manip.setResizeThumbnail(x,y) 来实现此目的。使用此方法的缺点是您的实际图像会更小,因此某些特征可能无法保留,这意味着 NN 准确性可能会降低。 用法示例在此。

拉伸

优点:保留完整 FOV。缺点:由于帧拉伸,NN 准确性可能会降低。拉伸是通过改变宽高比来完成的。可以使用 camRgb.setPreviewKeepAspectRatio(False) 进行配置。这意味着宽高比将不被保留,图像将被“拉伸”。这对于某些现成的 NN 模型来说可能存在问题,因此可能需要进行一些微调。 用法示例在此。

以高分辨率显示检测结果

要在 RVC2 上以实时速度(约 30FPS)运行对象检测模型,您通常会使用较低的输入帧进行推理(例如 300x300 或 416x416)。与其在如此小的帧上显示边界框,不如流式传输更高分辨率的帧(例如 ColorCamera 的 video 输出)并在这些高分辨率帧上显示边界框。有几种方法可以实现这一点,在本节中我们将探讨它们。

直通

只使用小的推理帧。这里我们使用了 MobileNetDetectionNetwork 输出的 passthrough 帧,因此边界框与帧同步。另一种选择是流式传输 ColorCamera 的 preview 帧并在主机上同步(或根本不同步)。下面是带有检测结果的 300x300 帧。演示代码在此。

裁剪高分辨率帧

低分辨率帧的一个简单解决方案是向主机流式传输高分辨率帧(例如 ColorCamera 的 video 输出),并在其上绘制边界框。为了使边界框与帧匹配,preview 和 video 大小应具有相同的宽高比,即 1:1。在此示例中,我们将 4k 分辨率缩小到 720P,因此最大分辨率为 720x720,这正是我们使用的分辨率(camRgb.setVideoSize(720,720))。我们还可以使用 1080P 分辨率并将 1080x1080 帧流式传输回主机。 演示代码在此。

拉伸帧

我们经常遇到的一个模型问题是它们的宽高比是 1:1,而不是像我们相机分辨率那样的 16:9。这意味着部分 FOV 将会丢失。上面(输入帧宽高比不匹配)我们展示了改变宽高比将保留相机的整个 FOV,但它会“挤压”/“拉伸”帧,如下所示。演示代码在此。

编辑边界框

为了避免拉伸帧(因为它可能会影响 NN 准确性),我们还可以从设备流式传输完整 FOV 的 video,并在 300x300 帧上进行推理。然而,这意味着我们必须重新计算边界框以匹配图像的不同宽高比。这种方法不保留整个宽高比,它只在完整 FOV 的 video 帧上显示边界框。 演示代码在此。