此页面由 AI 自动翻译。查看英文原版
最后更新
Claude CodeCodexCursor
Luxonis 智能体工具包为你常用的编程智能体加载 Luxonis 上下文与技能,更快地基于 OAK 开发应用。
安装工具包

硬件同步 (FSYNC)

最后更新
FSYNC 硬件同步通过共享的电触发器对齐传感器捕获,而不是稍后在软件中匹配消息。它是最大限度减少支持的摄像头和设备之间捕获偏差的最直接方法。

原理与理论

FSYNC 硬件同步通过共享的电触发器对齐捕获,而不是稍后在软件中对齐帧。这是真正的帧同步:参与的传感器使用相同的触发事件作为曝光时序的基础,因此 FSYNC 默认对齐曝光开始。

何时使用

在以下情况下使用 FSYNC:
  • 部署需要尽可能紧密的帧对齐
  • 摄像头或设备可以共享物理触发连接
  • 硬件接线是可接受的,并且比网络灵活性更重要

支持和限制

连续 FSYNC 期望与配置的传感器 FPS 匹配的稳定触发节奏,而快照触发则取决于传感器。卷帘快门传感器可以参与连续同步,但其曝光时序仍需使用 时序基础知识 进行解释,而不是假定其行为与全局快门捕获相同。FSYNC 是最高精度的同步选项。当部署需要基于以太网的时钟分配且共享触发接线不切实际时,请改用 PTP 同步 页面。

RVC2

RVC2 实现

Series 2 / RVC2 硬件同步使用 FSYNC 或 FSIN 信号,并允许在多个摄像头传感器之间以及可能与其他硬件(如闪光 LED、外部 IMU 或其他摄像头)之间进行精确同步,通常低于 10 微秒。经典的 Series 2 FSYNC 在 1.8V 传感器逻辑下运行,而一些较新的配备 M8 的变体则暴露 5V 触发的外部接口。

FSYNC 信号

FSYNC/FSIN(帧同步)是在每次帧捕获开始时驱动为高电平的脉冲。其脉冲宽度与曝光时间不成比例。它可以作为输入或输出。在 OAK-D 等立体摄像头上,通过将一个单色传感器配置为 FSYNC INPUT,另一个配置为 FSYNC OUTPUT 来保持立体对同步,因此一个传感器直接驱动另一个传感器。

外部同步帧

要从外部信号源驱动 Series 2 摄像头,请将参与的传感器配置为使用 FSIN 作为 INPUT。所有 Series 2 OAK PoE 型号都通过 M8 I/O 连接器暴露 FSIN 和 STROBE。FSYNC Y 型适配器 可用于将多个摄像头串联起来。
Py
1# 示例:我们有 3 个摄像头连接到端口 A、B 和 C
2cam_A.initialControl.setFrameSyncMode(dai.CameraControl.FrameSyncMode.INPUT)
3cam_B.initialControl.setFrameSyncMode(dai.CameraControl.FrameSyncMode.INPUT)
4cam_C.initialControl.setFrameSyncMode(dai.CameraControl.FrameSyncMode.INPUT)
您还可以通过 脚本 节点中的 GPIO 控制 FSIN 线;请参阅 此示例。

传感器 FSYNC 支持

只有部分传感器支持基于 FSYNC 的同步。有两种相关的操作模式:
  • 连续流式传输与外部同步,通过 CameraControl.setFrameSyncMode() 配置。在此模式下,FSIN 信号预计以与配置的传感器 FPS 匹配的速率连续到达。它只能纠正随时间推移的小量漂移。
  • 快照模式与外部同步,通过 CameraControl.setExternalTrigger() 配置。在此模式下,触发器可以任意时间到达,传感器在触发时捕获照片或快照。
传感器快门支持
OV9282、OV9782全局支持 FSYNC 输入/输出,包括连续模式和快照触发
OV7251全局预计具有与 OV9*82 相同的硬件支持,但尚未在固件中实现
AR0234全局支持 FSYNC 输入、连续模式和快照触发
IMX378、IMX477、IMX577、IMX380卷帘FSYNC 输入;卷帘快门传感器仅支持连续模式。硬件 FSYNC 输出尚未在固件中实现
IMX582卷帘类似于 IMX378,但尚未测试
IMX296 (RPi GS Camera)全局XTR 或 XTRIG 支持任意外部触发,脉冲长度决定曝光时间

外部 FSYNC 示例

Older devices

这是一个使用外部 FSYNC 信号触发摄像头传感器的示例。任何 Series 2 OAK-D PoE 型号都可以用于生成触发器;示例设置使用 M8 分线板暴露 GND 和 FSYNC。
在 此示例 中,传感器配置为 快照模式,因为信号是通过开关按钮触发的。只有立体摄像头(2x OV9282)由按钮触发,因为 IMX378 彩色不支持快照模式。如果彩色传感器是 OV9782,也可以通过这种方式触发。

Newer devices

使用较新 M8 连接器的设备,例如 OAK-D ToF,需要 5V 触发信号。
默认情况下,M8 连接器上的引脚 2 (FSYNC) 内部被拉高。当引脚保持高电平时,无论摄像头处于 INPUT 还是 OUTPUT 模式,帧都会连续流式传输。要外部触发帧,请将引脚拉低,例如拉到引脚 8 GND,以停止流式传输,然后再次拉高以重新开始流式传输。这允许您向 FSYNC 引脚发送 5V 脉冲以触发帧捕获。

STROBE 信号

STROBE 是图像传感器的输出,在曝光期间保持高电平。它可用于驱动外部照明,使灯光仅在曝光期间而非连续激活,从而降低功耗和发热。Luxonis 在 OAK 摄像头的 Pro 版本上使用 STROBE 来驱动板载红外 LED 和红外激光点投影仪。

STROBE 演示

带有 M8 连接器的摄像头可以从 STROBE 驱动外部照明,如下所示:

OAK-FFC 硬件同步

在 OAK-FFC-4P 上,有四个摄像头端口:A (RGB)、B (左)、C (右) 和 D (cam_d)。A 和 D 是 4 通道 MIPI,而 B 和 C 是 2 通道 MIPI。每对共享一个 I2C 总线,B/C 总线默认配置为左右硬件同步。对于 A 和 D 端口,需要明确启用硬件同步:
Py
1cam_A.initialControl.setFrameSyncMode(dai.CameraControl.FrameSyncMode.OUTPUT)
2cam_D.initialControl.setFrameSyncMode(dai.CameraControl.FrameSyncMode.INPUT)

Arducam FFC 摄像头同步

Arducam FFC 摄像头使用 22 引脚连接器,该连接器不承载 FSIN 或 STROBE。要将它们连接到 OAK-FFC 基板,需要一个 26 转 22 引脚转换器,并且该适配器仅通过测试焊盘暴露 FSIN/STROBE。要同步这些摄像头,可以将导线从测试焊盘焊接到模块 FSIN 接头引脚,或者将 FSIN 接头引脚连接在一起,如 此论坛讨论 所示。

连接 FSIN 和 STROBE

如上所述,Series 2 OAK PoE 型号通过 M8 I/O 连接器暴露 FSYNC 和 STROBE。如果您不使用该连接器,您可能需要直接焊接到设备 PCB。大多数板设计在外部 oak-hardware 存储库中是开源的: https://github.com/luxonis/oak-hardware

OAK-FFC-4P FSIN

在 OAK-FFC-4P 上,FSIN_4LANE 和 FSIN_2LANE 可以通过 MXIO6 连接。以下脚本同步所有四个连接的摄像头。
Python
1# CAM_A 将为所有其他摄像头驱动 FSIN 信号:
2cam_A.initialControl.setFrameSyncMode(dai.CameraControl.FrameSyncMode.INPUT) # 4LANE
3cam_B.initialControl.setFrameSyncMode(dai.CameraControl.FrameSyncMode.OUTPUT) # 2LANE
4cam_C.initialControl.setFrameSyncMode(dai.CameraControl.FrameSyncMode.INPUT) # 2LANE
5cam_D.initialControl.setFrameSyncMode(dai.CameraControl.FrameSyncMode.INPUT) # 4LANE
6
7# 并且重要的是通过设置 GPIO 将 A+D 和 B+C 对的 FSIN 信号连接起来:
8# OAK-FFC-4P 需要将 MXIO6 驱动为高电平 (FSIN_MODE_SELECT) 以将
9# A+D FSIN 组(4 通道对)与 B+C 组(2 通道对)连接起来
10config = dai.Device.Config()
11config.board.gpio[6] = dai.BoardConfig.GPIO(dai.BoardConfig.GPIO.OUTPUT,
12                                            dai.BoardConfig.GPIO.Level.HIGH)
13
14with dai.Device(config) as device:
15    device.startPipeline(pipeline)
更多背景信息可在 同一论坛讨论 中找到。

Series 2 USB OAK

OAK-D S2、OAK-D W、OAK-D Pro 和 OAK-D Pro W 使用的 DM9098 板上的 FSIN 线:

USB OAK-1* FSIN

OAK-1、OAK-1 W、OAK-1 Lite、OAK-1 Lite W 和 OAK-1 Max 使用的 NG9093 板上的 FSIN 测试焊盘:

OAK-D-Lite FSIN

请注意,OAK-D-Lite 上的立体对和彩色摄像头未连接在一起。

RVC4

RVC4 实现

OAK4 硬件同步使用支持设备上的 FSYNC 线,是跨多个摄像头对齐帧捕获的最准确方法。这是真正的帧同步:设备从共享的电触发器捕获,而不是稍后在软件中对齐。
在以下情况下使用硬件 FSYNC:
  • 您需要最严格的同步精度
  • 设备距离足够近,可以共享物理同步线
  • 部署规模足够小,FSYNC 菊花链仍然实用
对于支持的配备 M8 的设备,FSYNC Y 型适配器 是在设备之间分配触发信号的最简单方法。有关连接器详细信息,请参阅 OAK4 M8 接口。在 RVC4 上,目前仅启用连续流式传输 FSYNC 工作流程。与 RVC2 不同,RVC2 在支持的传感器上支持连续流式传输和快照模式,而 RVC4 目前不暴露快照触发的 FSYNC 操作。有两种方法可以在 OAK4 设备上触发外部 FSYNC:

来自另一个 OAK 设备的外部 FSYNC 信号

将设备菊花链连接,使一个 OAK 作为 FSYNC 主设备,而其他设备以 FSYNC 从设备模式运行。有关完整的接线和设置详细信息,请参阅 FSYNC Y 型适配器指南。

来自函数发生器的外部 FSYNC 信号

从外部信号源驱动 FSYNC。OAK4 设备需要 5V 触发信号。有关完整的接线和设置详细信息,请参阅 FSYNC Y 型适配器指南。

最小示例

PTP 同步和外部 FSYNC 使用相同的 depthai-core 示例(按照 README 中的说明准备您的环境以运行)。对于外部 FSYNC,使用 --external-sync 标志运行它们:
Command Line
1# 首先按照 README 准备您的环境,然后
2python3 examples/python/Misc/MultiDevice/multi_device_frame_sync.py --external-sync  # for python