此页面由 AI 自动翻译。查看英文原版
最后更新

本页目录

  • 输入帧 AR 不匹配
  • 裁剪
  • 信箱模式
  • 拉伸
  • 以高分辨率显示检测结果
  • 直通
  • 裁剪高分辨率帧
  • 拉伸帧
  • 编辑边界框
Claude CodeCodexCursor
Luxonis 智能体工具包为你常用的编程智能体加载 Luxonis 上下文与技能,更快地基于 OAK 开发应用。
安装工具包

神经网络分辨率技术

最后更新
在运行与输入帧宽高比 (AR) 不匹配的神经网络时,存在两个主要挑战:
  • 输入帧 AR 不匹配 - 当您的神经网络模型期望的宽高比与传感器的宽高比不同时
  • 神经网络输出的可视化 - 当您想以更高分辨率可视化神经网络输出时

输入帧 AR 不匹配

当您的 神经网络模型期望的宽高比(例如 1:1)与 传感器的宽高比(例如 4:3)不同,并且我们希望在传感器的完整 FOV 上运行神经网络推理时,就会出现挑战。假设我们有一个 MobileNet-SSD,它期望 300x300 的输入帧(1:1 宽高比),并且我们希望在传感器的完整 FOV 上运行推理 - 我们有几个选项:
  1. 将 ISP 帧裁剪为 1:1 宽高比并损失部分 FOV
  2. 将 ISP 帧拉伸到神经网络的 1:1 宽高比
  3. 对 ISP 帧应用信箱模式以获得 1:1 宽高比的帧
所有这三种转换都可以通过使用 ImageManip 节点设置适当的 ResizeMode 来配置。

裁剪

优点:神经网络准确性不下降。缺点:帧被裁剪,因此不是完整的 FOV。裁剪完整 FOV (isp) 帧以匹配神经网络宽高比可用于获得最佳神经网络准确性,但这会降低 FOV。可以通过以下方式设置:
Python
1manip.initialConfig.setOutputSize(width, height, dai.ImageManipConfigV2.ResizeMode.CENTER_CROP)

信箱模式

优点:保留完整的 FOV。缺点:较小的“帧”意味着较少的特征可能会降低神经网络准确性。信箱模式 方法将在完整 FOV (isp) 帧的上方和下方应用“黑边”,从而保留宽高比。使用此方法的缺点是您的实际图像会变小,因此某些特征可能无法保留,这意味着神经网络准确性可能会下降。可以通过以下方式设置:
Python
1manip.initialConfig.setOutputSize(width, height, dai.ImageManipConfigV2.ResizeMode.LETTERBOX)

拉伸

优点:保留完整的 FOV。缺点:由于帧被拉伸,神经网络准确性可能会下降。拉伸是通过改变宽高比来完成的。这意味着宽高比将不会保留,图像将被“拉伸”。这对于某些现成的神经网络模型来说可能存在问题,因此可能需要进行一些微调。 可以通过以下方式配置:
Python
1manip.initialConfig.setOutputSize(width, height, dai.ImageManipConfigV2.ResizeMode.STRETCH)
使用示例在此处

以高分辨率显示检测结果

要在 RVC2 上实时运行对象检测模型(约 30FPS),您通常会使用较低的输入帧进行推理(例如 300x300 或 416x416)。与其在如此小的帧上显示边界框,您还可以流式传输更高分辨率的帧(例如 ColorCamera 的 video 输出),并在这些高分辨率帧上显示边界框。有几种方法可以实现这一点,在本节中我们将探讨它们。

直通

仅使用小的推理帧。这里我们使用了 DetectionNetwork 输出的 passthrough 帧,因此边界框与帧同步。另一个选项是流式传输 ColorCamera 的 preview 帧并在主机上同步(或根本不同步)。下面是带有检测结果的 300x300 帧。演示代码在此处。

裁剪高分辨率帧

低分辨率帧的一个简单解决方案是将高分辨率帧(例如 ColorCamera 的 video 输出)流式传输到主机,并在其上绘制边界框。为了使边界框与帧匹配,preview 和 video 大小应具有相同的宽高比,即 1:1。在此示例中,我们将 4k 分辨率缩小到 720P,因此最大分辨率为 720x720,这正是我们使用的分辨率 (camRgb.setVideoSize(720,720))。我们还可以使用 1080P 分辨率并将 1080x1080 帧流式传输回主机。 演示代码在此处。

拉伸帧

我们经常遇到的一个问题是模型的宽高比是 1:1,而不是像我们相机分辨率那样的 16:9。这意味着部分 FOV 将会丢失。上面(输入帧 AR 不匹配)我们展示了改变宽高比将保留相机的整个 FOV,但它会“挤压”/“拉伸”帧,如下所示。 演示代码在此处。

编辑边界框

为了避免拉伸帧(因为它可能会影响神经网络的准确性),我们还可以从设备流式传输完整的 FOV video,并在 300x300 帧上进行推理。然而,这意味着我们必须重新计算边界框以匹配图像的不同宽高比。这种方法不保留整个宽高比,它只在完整的 FOV video 帧上显示边界框。 演示代码在此处。