此页面由 AI 自动翻译。查看英文原版
最后更新

本页目录

  • 关于相机校准
  • 内参
  • 外参
  • 校准过程
  • 畸变模型
  • 立体相机重新校准
  • 先决条件
  • 校准
  • 测试深度
  • 故障排除
  • ToF 重新校准
  • 校准程序

手动校准

最后更新

关于相机校准

相机校准是确定相机内参、外参和畸变参数的过程。这些参数能够将3D点精确映射到2D传感器,并有助于校正镜头畸变。

内参

内参定义了相机的内部特性:
  • 焦距 (fx, fy): 设置视场。焦距越高,视野越窄;焦距越低,视野越宽。
  • 光学中心 (cx, cy): 光轴与传感器相交的主点。轻微的偏移(约20像素)是可以接受的。这通常是由于镜头-传感器对齐的微小变化(如轻微的位移或倾斜)造成的。适当的校准可以补偿这些偏移,因此它们不会影响相机的精度或性能。
  • 畸变系数: 调整镜头缺陷:
    • 径向畸变 (k1, k2, k3, k4, k5, k6): 校正桶形或枕形效应。
    • 切向畸变 (p1, p2): 补偿镜头-传感器未对准。
    • 薄棱镜/倾斜畸变 (s1, s2, s3, s4, τx, τy): 解决倾斜问题,特别是在广角镜头中。

外参

外参描述了相机相对于场景或其他相机的位置和方向:
  • 旋转: 相机的方向。
  • 平移: 相机相对于参考点的位置。
这些参数对于涉及多个相机的应用(如立体视觉)至关重要,因为它们允许每个相机的图像与其他相机对齐。

校准过程

校准是精确确定相机内参和外参的过程。一个稳健的校准程序通常包括:
  1. 基于标记的校准: 使用Charuco标记(棋盘格和Aruco标记的组合),以不同的距离和角度放置,以实现高精度。
  2. 受控环境: 在稳定环境中进行校准,以覆盖所有相关的姿态和角度。这种方法有助于实现始终如一的可重复校准结果。
  3. 模型特定定制: 根据特定相机模型调整校准过程,以提高可靠性。

畸变模型

不同的畸变模型用于校正每种镜头类型的独特畸变。这些模型基于 OpenCV 的畸变模型框架,但可以根据特定的相机配置进行调整。
  • 正常视场 (NFOV): 使用标准透视模型校正径向 (k1, k2, k3, …) 和切向 (p1, p2) 畸变。
  • 广角视场 (WFOV): 采用扩展透视模型,最多可有 14 个总畸变参数:
    1. 径向畸变: k1, k2, k3, k4, k5, k6
    2. 切向畸变: p1, p2
    3. 薄棱镜: s1, s2, s3, s4
    4. 倾斜参数: τx, τy
    注意: 实际上,我们不会激活所有14个参数。对于广角镜头,我们启用两个额外的参数(通常是 τx 和 τy)来解决我们观察到的倾斜问题。这种扩展透视模型很好地处理了我们的广角视场 (WFOV) 镜头。
  • 鱼眼镜头: 采用专门的模型来处理极端的圆形畸变。我们通常避免鱼眼校准,因为OpenCV的鱼眼支持不能满足我们所有的需求,而且扩展透视模型已经有效地覆盖了我们的WFOV应用。
有关更多详细信息,请参阅 OpenCV 相机校准和畸变模型文档。

立体相机重新校准

使用 相机校准 部分中描述的内参、外参和畸变参数,立体校准将两个相机相互对齐。根据这些参数,系统计算校正矩阵,使StereoDepth节点能够生成精确的立体视差和深度估计。下面的视频演示了校准步骤。有关校准选项的更多详细信息,请参阅以下部分,并运行 ./calibrate.py --help 以打印所有可用的校准选项。

先决条件

如果您的计算机上还没有 depthai 仓库,您需要克隆它并安装依赖项:
Command Line
1git clone https://github.com/luxonis/depthai.git --branch main
2cd depthai
3git submodule update --init --recursive
4python3 install_requirements.py

准备Charuco板

我们建议在电视或大型平板显示器上显示Charuco板。屏幕越大越好,因为它可以显示更多的Charuco标记,这通常会提高校准精度。根据屏幕尺寸,我们建议全屏显示以下Charuco板:如果您的屏幕尺寸不同,请向下取整到最接近的尺寸。

显示Charuco板

显示Charuco板时,标记和方块应清晰可见。请记住:
  • 避免屏幕过亮或过暗。
  • 避免强光或阳光直射屏幕。
  • 全屏显示Charuco板。
square-size
请注意显示在Charuco板上的方块大小。这是校准脚本的 SQUARE_SIZE_IN_CM 参数。
square-size

校准

请为您的设备选择合适的校准程序:

紧凑型设备

运行校准脚本

将占位符参数值替换为有效条目:
Command Line
1python3 calibrate.py -s [SQUARE_SIZE_IN_CM] --board [BOARD] -nx [squaresX] -ny [squaresY]
例如,校准32英寸屏幕上的OAK-D S2:
Command Line
1python3 calibrate.py -s 3.76 --board OAK-D-S2 -nx 17 -ny 9

模块化设备

准备板配置

模块化设备(OAK-FFC-4P、3P、6P)将需要一个自定义板配置文件,该文件描述了您设备的相机配置。使用 此处 的板 .json 文件之一作为自定义板配置的模板。在板配置中,我们定义了相机、它们的插座以及它们相对于其他相机的位置。每个相机都应包含以下信息:
特性详情
相机板插座在板PCB上定义(例如,CAM_A、CAM_B、CAM_C、CAM_D等)
相机模块的HFOV硬件目录
相机类型彩色/单色
相机外参平移 [x, y, z] 和旋转 [r, p, y]
OAK-FFC-4P 的示例,带有两个OV9282 (PY003) 相机,立体设置,基线14.8厘米,IMX378 (PY052) 位于它们之间,距离右侧单色相机5厘米:
JSON
1{
2    "board_config": {
3        "name": "Custom FFC",
4        "revision": "R1M0E1",
5        "cameras": {
6            "CAM_C": {
7                "name": "right",
8                "hfov": 71.86,
9                "type": "mono",
10                "extrinsics": {
11                    "to_cam": "CAM_B",
12                    "specTranslation": {
13                        "x": 14.8,
14                        "y": 0,
15                        "z": 0
16                    },
17                    "rotation": {
18                        "r": 0,
19                        "p": 0,
20                        "y": 0
21                    }
22                }
23            },
24            "CAM_B": {
25                "name": "left",
26                "hfov": 71.86,
27                "type": "mono",
28                "extrinsics": {
29                    "to_cam": "CAM_A",
30                    "specTranslation": {
31                        "x": -9.8,
32                        "y": 0,
33                        "z": 0
34                    },
35                    "rotation": {
36                        "r": 0,
37                        "p": 0,
38                        "y": 0
39                    }
40                }
41            },
42            "CAM_A": {
43                "name": "middle",
44                "hfov": 69,
45                "type": "color"
46            }
47        },
48        "stereo_config": {
49            "left_cam": "CAM_B",
50            "right_cam": "CAM_C"
51        }
52    }
53}
另一个使用OAK-FFC-4P的示例,但这次没有彩色相机:
JSON
1{
2    "board_config": {
3        "name": "Custom FFC",
4        "revision": "R1M0E1",
5        "cameras": {
6            "CAM_C": {
7                "name": "right",
8                "hfov": 71.86,
9                "type": "mono",
10                "extrinsics": {
11                    "to_cam": "CAM_B",
12                    "specTranslation": {
13                        "x": 14.8,
14                        "y": 0,
15                        "z": 0
16                    },
17                    "rotation": {
18                        "r": 0,
19                        "p": 0,
20                        "y": 0
21                    }
22                }
23            },
24            "CAM_B": {
25                "name": "left",
26                "hfov": 71.86,
27                "type": "mono"
28            }
29        },
30        "stereo_config": {
31            "left_cam": "CAM_B",
32            "right_cam": "CAM_C"
33        }
34    }
35}

运行校准脚本

设置好板配置后,使用JSON配置的名称作为板名称运行校准。
Command Line
1python3 calibrate.py -s [SQUARE_SIZE_IN_CM] -brd OAK-FFC-4P.json -nx [squaresX] -ny [squaresY]
上面测量的17x9 Charuco板的示例命令:
Command Line
1python3 calibrate.py -s 3.76 -nx 17 -ny 9 -brd OAK-FFC-4P.json
参数参数别名参数描述
-s--squareSizeCm打印的Charuco板的测量方块尺寸(厘米)
-brd--board相机名称(来自 depthai-boards,不区分大小写),或自定义 .json 板配置的路径
-nx--squaresXX方向上的方块数量。SquaresX 在 准备Charuco板 中指定,取决于您的屏幕尺寸。
-ny--squaresYY方向上的方块数量。SquaresY 在 准备Charuco板 中指定,取决于您的屏幕尺寸。
-cm--cameraMode相机模式,可以是 perspective(默认)或 fisheye。
-mdmp--minDetectedMarkersPercent帧中检测到的标记的最小百分比,以认为该帧有效。默认值为0.5(50%)。如果您想更严格,可以增加此值,但这可能会导致获取足够有效帧的时间更长。
-ep--maxEpipolarError最大极线误差(像素),以认为该帧有效。默认值为0.7。如果您想更严格,可以减小此值。
有关参数和使用示例的完整列表,请运行:
Command Line
1python3 calibrate.py --help

校准期间的相机定位

我们建议从不同的角度和距离捕获校准,这将有助于校准算法找到最佳校准。1. 靠近屏幕: 确保校准板几乎覆盖整个视场 (FOV)。拍摄5张图像以覆盖相机的整个FOV:
  • 正面视图,校准板位于FOV中央。
  • 不移动相机,旋转以使相机FOV与校准板边缘对齐。拍摄4张图像,每张对应屏幕的一个边缘。
2. 靠近屏幕,从侧面: 拍摄4张或更多倾斜的校准板图像,覆盖大部分FOV。将相机移动到屏幕的顶部、底部、左侧和右侧。可以使用不同的距离。3. 中等距离: 校准板应覆盖FOV的约40%。拍摄5张图像以覆盖相机的整个FOV:
  • 正面视图,校准板位于FOV中央。
  • 类似于靠近屏幕的位置,旋转相机以使FOV与校准板边缘对齐。
4. 远离屏幕: 校准板只覆盖FOV的一小部分。总共拍摄9张图像以覆盖相机的整个FOV:
  • 正面视图,校准板位于FOV中央。
  • 拍摄4张图像,使相机FOV与所有4个边缘对齐,类似于近距离和中等距离位置。
  • 另外,拍摄4张图像,使相机FOV与屏幕的角落对齐。
positioning

运行处理阶段

捕获图像后,您可以按 s 键运行校准处理阶段。脚本会显示每张图像的极线,您应该验证它们是否正确对齐。一旦所有图像都检查完毕,如果校准成功,结果将刷写到设备的EEPROM中。 每张捕获的图像都保存在 dataset 文件夹中,因此您可以重新运行校准过程而无需再次捕获图像。如果您想对捕获的图像重新运行校准过程,请使用 -m process 参数:
Command Line
1python3 calibrate.py -s [SQUARE_SIZE_IN_CM] --board [BOARD] -nx [squaresX] -ny [squaresY] -m process
校准结果存储在 resources/ 文件夹中,以后可用于测试或调试。您还可以将此本地校准文件加载或刷写到设备。有关更多详细信息,请参阅 校准加载示例。

测试深度

要测试深度质量,请按照 OAK Viewer说明 使用OAK Viewer。

故障排除

  • 如果校准失败并出现错误:High reprojection error!,通常是由于板配置错误,通常是由于使用的相机模块的HFOV指定不正确。
  • 如果尽管校准成功,但深度仍然不正确,可能是您的左右相机互换了。请更改板配置或互换相机插入的板插座,然后重试校准。

ToF 重新校准

飞行时间 (ToF) 校准对于将 ToF 传感器与系统中的其他相机对齐至关重要。此过程侧重于获取外参,这对于确保不同相机之间的高效协调操作至关重要。

校准程序

如果您已经安装了 DepthAI 仓库,请使用以下命令更新它以进行 TOF 校准:
Command Line
1git checkout new_tof_calib
2git submodule update --init --recursive
更新板后,安装更新的 DepthAI Python 库:
Command Line
1python3 ./install_requirements.py
要开始校准过程,请使用您正在使用的 Charuco 板的适当参数运行 calibrate.py。例如:
Command Line
1python3 calibrate.py -db -nx 12 -ny 9 -c 1 -cd 0 -s 6 -ms 4.7 -brd OAK-D-SR-POE
参数说明:
  • -db: 表示默认板,意味着您正在使用 Charuco 标记。
  • -nx: Charuco 标记在 x 方向上的数量。
  • -ny: Charuco 标记在 y 方向上的数量。
  • -c: 每次显示多边形时拍摄的照片数量(可选)。
  • -cd: 拍照前的倒计时时间(秒)(可选)。
  • -s: Charuco 标记周围方块的尺寸(厘米)。
  • -ms: 标记的尺寸(厘米)。
  • -brd: 设备的板(在本例中为 OAK-D-SR-POE)。
如果您遇到诸如 division by zero 或 Failed to detect markers in the image dataset/rgb/rgb_p3_10.png 等错误,请从所有相机文件夹中删除 Charuco 板检测不良的图像,然后使用添加的 -m process 参数再次运行相同的命令。这只会启动处理阶段,因此您无需重新拍摄板图像。
Command Line
1python3 calibrate.py -db -nx 12 -ny 9 -c 1 -cd 0 -s 6 -ms 4.7 -brd OAK-D-SR-POE -m process