此页面由 AI 自动翻译。查看英文原版
最后更新

本页目录

  • 符号
  • CameraSocket 坐标系
  • 插座到相机的映射
  • 原点(参考)相机
  • 相机到相机的变换
  • 外壳坐标系
  • 转换为外壳坐标系
  • ImageTransformation — 处理数据
Claude CodeCodexCursor
Luxonis 智能体工具包为你常用的编程智能体加载 Luxonis 上下文与技能,更快地基于 OAK 开发应用。
安装工具包
最后更新
Supported on:RVC2RVC4
设备中定义的所有坐标系都是右手坐标系。每个设备有两种类型:
  • CameraSocket 坐标系 — 在校准期间由相机针孔模型定义。
  • 外壳坐标系 — 由设备的机械形状定义。

符号

要将点从坐标系 A 转换为 B,我们使用:
其中:
是点 p 在坐标系 A 中的齐次坐标列向量,并且:
是从坐标系 A 到 B 的 4×4 变换矩阵。

CameraSocket 坐标系

每个设备有 n 个相机传感器(通常为 3 个)。每个传感器都有自己的坐标系,由针孔相机模型定义。在出厂校准期间,所有 n 个相机传感器都相互校准,形成一个变换链。如果校准因热应力或机械应力而随时间退化,设备可以使用 动态校准进行自修复。

插座到相机的映射

在典型的 OAK 设备上,相机插座映射如下:
插座编号插座名称相机名称
0CAM_ARGB
1CAM_BLEFT
2CAM_CRIGHT
相机变换通常形成一个线性链:

原点(参考)相机

校准链中插座索引最低的相机称为原点(也称为 ref)。DepthAI 中的所有外参都相对于此原点相机表示。例如,在具有 CAM_A、CAM_B 和 CAM_C 的典型设备上,原点是 CAM_A。DepthAI 生成的每个图像也带有自己的 ImgTransformation,其中包括相机外参 — 从虚拟相机到原点(通常是上面定义的 CAM_A)的变换。外参通过 toCameraSocket 和 toDeviceId 标识目标参考相机。toDeviceId 会自动填充创建消息的设备的 ID,即 toCameraSocket 引用的设备。在多设备设置中,使用这两个字段来区分不同设备上的参考相机。有关更多详细信息,请参阅 ImgTransformations。虚拟相机是描述图像当前状态的相机模型 — 在应用任何处理(扭曲、裁剪、去畸变等)之后。当 DepthAI 变换图像时,结果等同于由一个不同的虚拟相机拍摄的照片,该虚拟相机在空间中可能位于不同的位置和方向。因此,虚拟相机外参可能与校准期间建立的物理传感器外参不同。ImgTransformation 始终反映虚拟相机,以便下游节点使用最新的几何信息。

相机到相机的变换

您可以使用以下方法检索任何相机到相机的变换:
Python
1# srcCamera / dstCamera — 任何 dai.CameraBoardSocket 值:
2#   CAM_A, CAM_B, CAM_C, CAM_D, CAM_E, CAM_F, CAM_G, CAM_H, CAM_I, CAM_J
3
4# 获取从 CAM_B 到 CAM_A 的 4x4 外参变换矩阵
5calibration.getCameraExtrinsics(dai.CameraBoardSocket.CAM_B, dai.CameraBoardSocket.CAM_A)
这会返回从 srcCamera 到 dstCamera 的变换矩阵:
在内部,DepthAI 通过链接两个原点变换来计算此值:
Python
1calibration.getExtrinsicsToOrigin(srcCamera)  # 返回 T^src_origin
2calibration.getExtrinsicsToOrigin(dstCamera)  # 返回 T^dst_origin
最终的相机到相机变换然后组合为:

外壳坐标系

外壳坐标系是与设备外壳的物理特征相关的坐标系。有三种类型:
  • VESA_A – VESA_J — 设备安装点。
  • FRONT_CAM_A – FRONT_CAM_J — 位于前玻璃处,与前玻璃平面对齐。
  • CAM_A – CAM_J — 位于相机传感器规格位置。
所有外壳坐标系都面向 RDF(右-下-前),X-Y 平面由前玻璃机械定义。这意味着外壳坐标系补偿了设备内部传感器物理位置的缺陷。节点可以直接集成外壳坐标系 — 您选择一个目标坐标系,输出数据会自动转换为该坐标系。例如,PointCloud 节点允许您直接在任何外壳或相机插座坐标系中接收点云数据。

转换为外壳坐标系

您可以使用以下方法从相机检索到任何外壳坐标系的变换:
Python
1# housingCS — 任何 dai.HousingCoordinateSystem 值:
2#   CAM_A … CAM_J           — 相机外壳原点
3#   FRONT_CAM_A … FRONT_CAM_J — 每个相机的前盖坐标系
4#   VESA_A … VESA_J         — 每个相机的 VESA 安装坐标系
5#   IMU                     — IMU 外壳原点
6
7# 获取从 CAM_A 到 VESA_A 外壳坐标系的 4x4 变换
8calibration.getHousingCalibration(dai.CameraBoardSocket.CAM_A, dai.HousingCoordinateSystem.VESA_A)
这会生成从 srcCamera 到选定外壳坐标系的变换矩阵:
在内部,这涉及三个步骤:

计算外壳到原点的链

Python
1calibration.getHousingToHousingOrigin()       # 返回 T^housing_housingOrigin
2calibration.getExtrinsicsToOrigin(housingOrigin)  # 返回 T^housingOrigin_origin
3calibration.getExtrinsicsToOrigin(srcCamera)      # 返回 T^srcCamera_origin

检索外壳到特定外壳的变换

外壳到特定外壳的变换从 DepthAI Boards JSON 文件中检索:

组合最终变换

ImageTransformation — 处理数据

处理数据时,始终使用 ImgTransformation 作为变换源。每个数据帧都带有自己的外参 — 从数据帧到原点(参考)相机的变换。当以下情况发生时,此外参会自动保持最新:
  • 对数据执行操作(裁剪、调整大小、去畸变等)
  • 校准在运行时发生变化(例如,由于 AutoCalibration 节点)
像 PointCloud 和 ImageAlign 这样的节点会自动从 ImgTransformation 读取变换,因此它们无需手动干预即可保持校准感知。

需要帮助?

请访问讨论论坛以获取技术支持或您可能有的任何其他问题。