Robotics Vision Core

Robotics Vision Corfe 2（简称 RVC2）是我们的第二代 RVC。系列 2 OAK 设备和我们的首批设备均基于 RVC2 构建。RVC2 包含两个主要组件：

针对特定 SoC 微调的 DepthAI 功能
高性能 SoC 及其所有支持电路（高速 PCB 布局、电源分配网络、高效散热等）

RVC2 性能

4 TOPS 处理能力（1.4 TOPS 用于AI） - RVC2 NN 性能

运行任何 AI 模型，甚至是自定义架构/构建的模型 - 模型需要进行转换。

编码：H.264、H.265、MJPEG - 4K/30FPS、1080P/60FPS

计算机视觉：通过 ImageManip 节点进行畸变/去畸变、缩放、裁剪，边缘检测，特征跟踪。您还可以运行自定义 CV 函数

目标跟踪：使用 ObjectTracker 节点进行 2D 和 3D 跟踪

设备端编程：在设备上运行自定义逻辑/任务（指南）

RVC2 神经网络性能

点击此处查看包含 81 个测试结果的完整表格。

模型名称	尺寸	FPS	延迟 [毫秒]
ResNet-50	224x224	26.5	56.5
MobileOne S0	224x224	165.5	11.1
Resnet18	224x225	94.8	19.7
DeepLab V3	256 x 256	36.5	48.1
DeepLab V3	513 x 513	6.3	253.1
YOLOv6n R2	416x416	65.5	29.3
YOLOv6n R2	640x640	29.3	66.4
YOLOv6t R2	416x416	35.8	54.1
YOLOv6t R2	640x640	14.2	133.6
YOLOv6m R2	416x416	8.6	190.2
YOLOv7t	416x416	46.7	37.6
YOLOv7t	640x640	17.8	97.0
YOLOv8n	416x416	31.3	56.9
YOLOv8n	640x640	14.3	123.6
YOLOv8s	416x416	15.2	111.9
YOLOv8m	416x416	6.0	273.8
YOLOv9t	416x416	21.70	46.09
YOLOv9t	640x640	10.69	93.60
YOLOv9s	416x416	12.74	78.49
YOLOv9m	416x416	4.71	212.31
YOLOv10n	416x416	27.07	36.95
YOLOv10n	640x640	12.62	79.21
YOLOv10s	416x416	14.03	71.29
YOLOv10m	416x416	6.05	165.26
YOLO11n	416x416	28.08	35.61
YOLO11n	640x640	12.80	78.11
YOLO11s	416x416	12.17	82.14
YOLO11m	416x416	3.90	256.20

模型编译使用 8 个 SHAVE，并在 2 个神经网络推理线程上运行。延迟包括通过 USB3 从设备获取结果的时间。每个模型运行 5 次迭代，FPS 取平均值。

神经网络性能估算

您可以通过以下图表估算模型的性能。该图表根据 FLOPs 和参数提供 RVC2 上模型的 FPS 估算。

点击图片查看常见模型更详细的 FPS 评估。

功耗

RVC2 本身最大功耗约为 4.5W，主要由集成在 RVC2 内部的 SoC 芯片组消耗。

硬件模块与加速器

该 SoC 集成了多个硬件加速器，DepthAI API 旨在最优地利用它们：

2 个 Leon CPU 核心：
- Leon CSS 处理：USB/以太网协议栈（由 XLink 框架管理）、IMU、3A 算法。降低 CSS CPU 消耗的一种方法是减少 3A 频率，目前通过降低相机 FPS 实现。我们也在研究跳过某些帧的 3A（例如，仅每 3 帧运行一次 3A）。POE 模型上 CSS CPU 消耗更高，因为它还运行以太网协议栈。
- Leon MSS 处理其他所有事务：调度硬件加速功能、使用 SHAVE 等。
ISP - 图像信号处理器，用于图像处理，如去噪、锐化等。整个 ISP 配置通过 API 暴露，由 ColorCamera 节点和 MonoCamera 节点提供。
2 个 NCE（神经网络计算引擎）专为一系列操作/层而设计，但有些操作未实现，这些将在 SHAVE 核心上实现。
16 个 SHAVE 核心 - 向量处理器。用于执行某些神经网络操作/层，它们用途广泛，也可用于其他任务，例如计算机视觉算法（重新格式化图像、执行某些 ISP 等）。
- 更高分辨率消耗更多 SHAVE：对于 1080P，使用 3 个 SHAVE；对于 4K，使用 6 个 SHAVE。
- DepthAI 内部的资源管理器协调 SHAVE 的使用，并在给定管线配置请求过多资源时发出警告。
20 个 CMX 切片 - 这些是快速 SRAM 内存块（每个 128kB），用于临时存储计算结果。它们被神经网络模型、相机 ISP（1080P 或更低分辨率使用 3 个 CMX 切片）、图像处理过程等使用。注意，4 个 CMX 切片是预分配的，因此只有 16 个空闲。
立体视觉管线 - 立体匹配（Census 变换、代价匹配和代价聚合），由 StereoDepth 节点使用。
视频编码器，支持 MJPEG、H264 和 H265 编解码器。由 VideoEncoder 节点使用。
视觉模块：
- 边缘检测 - 由 EdgeDetector 节点使用。
- 3 个 Warp 引擎 - 由 ImageManip 节点 / Warp 节点使用，用于扭曲、立体矫正、去畸变等。
- 角点检测（Harris/Shi-Thomasi）- 由 FeatureTracker 节点使用。
- 运动估计 - 由 FeatureTracker 节点使用。
- 最小值/最大值计算器 - 由 FeatureTracker 节点用于非极大值抑制（针对 Harris 角点检测）。

您可以通过启用调试信息来检查 SHAVE 和 CMX 的使用情况。

本页目录

Robotics Vision Core

RVC2 性能

RVC2 神经网络性能

神经网络性能估算

功耗

硬件模块与加速器