神经网络分辨率技术
最后更新
- 输入帧宽高比不匹配 - 当您的神经网络模型期望的宽高比与传感器的宽高比不同时
- 神经网络输出的可视化 - 当您想以更高分辨率可视化神经网络输出时

输入帧宽高比不匹配
- 将 ISP 帧裁剪为 1:1 宽高比并损失部分 FOV
- 将 ISP 帧拉伸到 NN 的 1:1 宽高比
- 对 ISP 帧应用信箱模式以获得 1:1 宽高比的帧

裁剪
信箱模式
manip.setResizeThumbnail(x,y) 来实现此目的。使用此方法的缺点是您的实际图像会更小,因此某些特征可能无法保留,这意味着 NN 准确性可能会降低。 用法示例在此。拉伸
camRgb.setPreviewKeepAspectRatio(False) 进行配置。这意味着宽高比将不被保留,图像将被“拉伸”。这对于某些现成的 NN 模型来说可能存在问题,因此可能需要进行一些微调。 用法示例在此。以高分辨率显示检测结果
300x300 或 416x416)。与其在如此小的帧上显示边界框,不如流式传输更高分辨率的帧(例如 ColorCamera 的 video 输出)并在这些高分辨率帧上显示边界框。有几种方法可以实现这一点,在本节中我们将探讨它们。直通
passthrough 帧,因此边界框与帧同步。另一种选择是流式传输 ColorCamera 的 preview 帧并在主机上同步(或根本不同步)。下面是带有检测结果的 300x300 帧。演示代码在此。
裁剪高分辨率帧
video 输出),并在其上绘制边界框。为了使边界框与帧匹配,preview 和 video 大小应具有相同的宽高比,即 1:1。在此示例中,我们将 4k 分辨率缩小到 720P,因此最大分辨率为 720x720,这正是我们使用的分辨率(camRgb.setVideoSize(720,720))。我们还可以使用 1080P 分辨率并将 1080x1080 帧流式传输回主机。 演示代码在此。
拉伸帧
1:1,而不是像我们相机分辨率那样的 16:9。这意味着部分 FOV 将会丢失。上面(输入帧宽高比不匹配)我们展示了改变宽高比将保留相机的整个 FOV,但它会“挤压”/“拉伸”帧,如下所示。演示代码在此。
编辑边界框
video,并在 300x300 帧上进行推理。然而,这意味着我们必须重新计算边界框以匹配图像的不同宽高比。这种方法不保留整个宽高比,它只在完整 FOV 的 video 帧上显示边界框。 演示代码在此。