此页面由 AI 自动翻译。查看英文原版
最后更新

本页目录

  • 彩色摄像头 ISP 配置
  • 低光增加灵敏度
  • 摄像头调优
  • 运动模糊
  • 高动态范围 (HDR) 成像
  • 支持的设备
  • QBC HDR
  • 配置 HDR 控制
  • HDR 比较

图像质量

最后更新
图像质量 (IQ) 是衡量图像对原始场景的再现程度。 它是许多因素的组合,例如清晰度、噪点、色彩准确度等。有几种方法可以提高 OAK 摄像头的图像质量 (IQ)。一些示例:
  1. 更改 彩色摄像头 ISP 配置
  2. 尽量保持摄像头灵敏度低 - 低光增加灵敏度
  3. 使用自定义调优 blob 进行 摄像头调优
  4. 减少 运动模糊 效应的方法
为了获得最佳图像质量,我们建议您根据您的特定应用自行测试。您可以使用 RGB 摄像头控制 动态(实时)尝试不同的 ISP 配置和曝光/灵敏度值。

彩色摄像头 ISP 配置

您可以配置 ColorCamera ISP 值,例如 sharpness、luma denoise 和 chroma denoise,这 可以提高图像质量。我们注意到有时这些值会提供更好的结果:
Python
1camRgb = pipeline.create(dai.node.ColorCamera)
2camRgb.initialControl.setSharpness(0)     # 范围:0..4,默认值:1
3camRgb.initialControl.setLumaDenoise(0)   # 范围:0..4,默认值:1
4camRgb.initialControl.setChromaDenoise(4) # 范围:0..4,默认值:1
上图放大的图像展示了 ISP 配置之间的图像质量差异(此处讨论)。 请注意,为了获得最佳图像质量,您需要根据您的特定应用测试和评估这些值。在广角 FOV 摄像头上,您可以在广角 FOV IMX378 和 OV9782 之间进行选择。通常,OV9782 的图像质量不如 IMX378, 因为分辨率低得多,并且在低分辨率下更难处理清晰度/噪点。在高分辨率下,图像可以缩小,噪点会不那么明显。 尽管 OV9782 具有相当大的像素,但通常全局快门的噪点水平比卷帘快门更显著。

低光增加灵敏度

在下图中,您可以看到不同的灵敏度值如何影响图像质量。灵敏度只会增加模拟增益,这 会增加图像噪点。在低光环境下,应始终增加曝光,而不是灵敏度。请注意 默认情况下,depthai 始终会这样做 - 但在使用 30FPS 时,最大曝光为 33ms。对于下面的右图,我们 已将 ColorCamera 设置为 10 FPS,因此我们能够将曝光增加到 100ms。
标准 A4 摄像头调优目标在 420 厘米(40 勒克斯)处的约 15 倍数字放大图像。我们使用 12MP IMX378(在 OAK-D 上)拍摄此图像。

摄像头调优

我们的库支持设置摄像头 IQ 调优 blob,该 blob 将用于所有摄像头。 默认情况下,摄像头将使用一个通用调优 blob,在大多数情况下效果很好 - 因此在大多数情况下不需要更改摄像头 调优 blob。
Py
1import depthai as dai
2
3pipeline = dai.Pipeline()
4pipeline.setCameraTuningBlobPath('/path/to/tuning.bin')
可用调优 blob要调优您自己的摄像头传感器,需要 Intel 的软件,这需要许可证
  • 因此大多数人只能使用预调优的 blob。目前可用的调优 blob:
  • 低光环境下的单色调优 此处。这允许自动曝光达到 200ms(否则默认调优限制为 33ms)。对于 200ms 自动曝光,您还需要限制 FPS (monoRight.setFps(5))
  • 低光环境下的彩色调优 此处。比较如下。这允许自动曝光达到 100ms(否则默认调优限制为 33ms)。对于 200ms 自动曝光,您还需要限制 FPS (rgbCam.setFps(10))。已知限制:自动曝光超过 33ms 时可能会出现闪烁,这是由自动对焦在连续模式下工作引起的。一个解决方法是将 CONTINUOUS_VIDEO(默认)更改为 AUTO(仅在初始化时对焦一次,并在后续对焦触发命令时对焦):camRgb.initialControl.setAutoFocusMode(dai.CameraControl.AutoFocusMode.AUTO)
  • OV9782 广角 FOV 彩色调优,适用于阳光环境 此处。修复了阳光直射下的镜头色彩过滤,请参阅 此处博客文章。它还改进了 LSC(镜头阴影校正)。目前不适用于 OV9282,因此在例如带有广角 FOV 摄像头的 Series 2 OAK 上使用时,不应启用单色摄像头。
  • 摄像头曝光限制:最大 500us,最大 8300us。这些调优 blob 将限制最大曝光时间,并在达到最大曝光时间后开始增加 ISO(灵敏度)。这是一种减少 运动模糊 的有用方法。

运动模糊

当相机快门打开时间较长,并且物体在此期间移动时,会出现 运动模糊。
卷帘快门传感器时序
动画显示了较短(左)和较长(右)曝光时间之间的差异。 在较短的曝光时间内,即使是快速移动的物体也能移动较短的距离,从而减少运动模糊。
在上图中,右脚在曝光时间内移动了大约 50 像素,导致该区域的图像模糊。 左脚在整个曝光时间内都停留在地面上,因此不模糊。在高振动环境中,我们建议使用固定对焦彩色摄像头,否则自动对焦镜头会晃动并 导致图像模糊 此处文档。潜在的解决方法:
  • 拥有更好的(更亮)照明,这将导致相机使用更短的曝光时间,从而减少运动模糊。
  • 限制快门(曝光)时间 - 这将减少运动模糊,但也会减少到达传感器的光线,因此图像会更暗。您可以选择使用更大的传感器(因此更多的光子击中传感器)或使用更高的 ISO(灵敏度)值。限制最大曝光时间的一种选择是使用 相机调优 blob。
Py
1camRgb = pipeline.create(dai.node.ColorCamera)
2# 最大曝光限制(微秒)。在此时间之后,将增加 ISO 而不是曝光。
3camRgb.initialControl.setAutoExposureLimit(10000) # 最大 10ms
  • 如果运动模糊对您的模型的准确性产生负面影响,您可以通过在训练数据集中包含运动模糊图像来微调它,使其对运动模糊更具鲁棒性

高动态范围 (HDR) 成像

高动态范围 (HDR) 以不同的亮度级别捕获多个曝光,并将它们合并成一张图像。这种方法保留了否则会因噪点而丢失的阴影细节,同时还防止了高光剪切,从而在具有明亮和黑暗区域的场景中提供平衡的图像。

支持的设备

HDR 控制在 OAK-1 Max、OAK-1 PoE、所有 OAK4 型号以及使用 IMX708、IMX582、IMX586 模块的 FFC CBA 版本随附的彩色传感器上可用。这些设备都暴露相同的 DepthAI ColorCamera 接口,因此无论管道是直接在设备上运行还是从主机运行,下面的配置步骤都适用。

QBC HDR

支持 HDR 的传感器使用 Quad Bayer Coding (QBC) HDR,同时在每个 2×2 像素块中捕获长、中、短曝光。然后,传感器将三者合并成一个 16 位帧,运行色调控制,并将结果压缩回 10 位流,从而保留高光和阴影细节。
ℹ️ 注意:由于曝光在 2×2 Quad Bayer 像素结构上以不同持续时间并行发生,因此在快速移动的场景中可能会出现一些运动伪影。

配置 HDR 控制

在启动管道之前,通过设置 ColorCamera 控制来配置 HDR:
Python
1colorCam.initialControl.setMisc("hdr-exposure-ratio", 4)  # 当设置为 > 1 时启用 HDR(选项:2、4、8)
2colorCam.initialControl.setMisc("hdr-local-tone-weight", 75)  # 范围:0..100

曝光比

hdr-exposure-ratio 控制构成单个 HDR 图像的三个独立捕获的相对曝光时间:
  • 长曝光: 这是基本曝光时间,通常手动设置或通过自动曝光设置。
  • 中曝光: 计算为 长曝光时间 / hdr-exposure-ratio。
  • 短曝光: 计算为 长曝光时间 / (hdr-exposure-ratio * hdr-exposure-ratio)。
例如,如果 hdr-exposure-ratio 为 4,长曝光为 100ms:
  • 长曝光: 100ms
  • 中曝光: 25ms (100ms / 4)
  • 短曝光: 6.25ms (100ms / 16)

局部色调权重

hdr-local-tone-weight 有助于平衡图像中亮度对比度调整的应用方式:
  • 局部色调映射: 调整小区域的亮度和对比度以保留细节和纹理。
  • 全局色调映射: 修改整个图像以使其看起来平衡和真实。
较高的 hdr-local-tone-weight 值会增强细节,但可能会导致不自然的对比度。较低的值有助于图像看起来均匀,但可能会降低详细区域的清晰度。OAK-1 Max

HDR 比较

以下是使用 OAK-1 Max 在 IMX582 传感器上 HDR 与非 HDR 的并排比较。左图曝光不足,隐藏了阴影中的细节。中图曝光过度,高光部分被冲淡。右图在启用 HDR 的情况下拍摄,保留了整个动态范围的细节。
HDR 图像是使用 camera_hdr.py 脚本生成的。