Robotics Vision Core 2 (RVC2)
最后更新
- 针对特定 SoC 进行了微调的 DepthAI 功能
- 高性能 SoC 及其所有支持电路(高速 PCB 布局、电源传输网络、高效散热等)
RVC2 性能
- 4 TOPS 处理能力(1.4 TOPS 用于 AI)- RVC2 NN 性能
- 运行任何 AI 模型,甚至是自定义架构/构建的模型 - 模型需要进行转换。
- 编码:H.264、H.265、MJPEG - 4K/30FPS、1080P/60FPS
- 计算机视觉:通过 ImageManip 节点进行扭曲/去扭曲、调整大小、裁剪,边缘检测,特征跟踪。您还可以运行自定义 CV 功能
- 对象跟踪:使用 ObjectTracker 节点进行 2D 和 3D 跟踪
- 设备端编程:在设备上运行自定义逻辑/任务(指南)
RVC2 NN 性能
| 模型名称 | 大小 | FPS | 延迟 [ms] |
|---|---|---|---|
| ResNet-50 | 224x224 | 26.5 | 56.5 |
| MobileOne S0 | 224x224 | 165.5 | 11.1 |
| Resnet18 | 224x225 | 94.8 | 19.7 |
| DeepLab V3 | 256 x 256 | 36.5 | 48.1 |
| DeepLab V3 | 513 x 513 | 6.3 | 253.1 |
| YOLOv6n R2 | 416x416 | 65.5 | 29.3 |
| YOLOv6n R2 | 640x640 | 29.3 | 66.4 |
| YOLOv6t R2 | 416x416 | 35.8 | 54.1 |
| YOLOv6t R2 | 640x640 | 14.2 | 133.6 |
| YOLOv6m R2 | 416x416 | 8.6 | 190.2 |
| YOLOv7t | 416x416 | 46.7 | 37.6 |
| YOLOv7t | 640x640 | 17.8 | 97.0 |
| YOLOv8n | 416x416 | 31.3 | 56.9 |
| YOLOv8n | 640x640 | 14.3 | 123.6 |
| YOLOv8s | 416x416 | 15.2 | 111.9 |
| YOLOv8m | 416x416 | 6.0 | 273.8 |
| YOLOv9t | 416x416 | 21.70 | 46.09 |
| YOLOv9t | 640x640 | 10.69 | 93.60 |
| YOLOv9s | 416x416 | 12.74 | 78.49 |
| YOLOv9m | 416x416 | 4.71 | 212.31 |
| YOLOv10n | 416x416 | 27.07 | 36.95 |
| YOLOv10n | 640x640 | 12.62 | 79.21 |
| YOLOv10s | 416x416 | 14.03 | 71.29 |
| YOLOv10m | 416x416 | 6.05 | 165.26 |
| YOLO11n | 416x416 | 28.08 | 35.61 |
| YOLO11n | 640x640 | 12.80 | 78.11 |
| YOLO11s | 416x416 | 12.17 | 82.14 |
| YOLO11m | 416x416 | 3.90 | 256.20 |
NN 性能估算

功耗
硬件模块和加速器
- 2xLeon CPU 核心:
- Leon CSS 处理:USB/以太网堆栈(由 XLink 框架管理)、IMU、3A 算法。减少 CSS CPU 消耗的一种方法是当前通过降低相机 FPS 来降低 3A 速率。我们还在研究跳过某些帧的 3A(例如,每 3 帧只运行一次 3A)。POE 模型上的 CSS CPU 消耗更高,因为它正在运行以太网堆栈。
- Leon MSS 处理所有其他事务;调度硬件加速功能、使用 shaves 等。
- ISP - 图像信号处理器,用于图像处理,例如去噪、锐化等。整个 ISP 配置通过 ColorCamera 节点和 MonoCamera 节点通过 API 公开。
- 2x NCEs(神经网络计算引擎)专为一系列操作/层而设计,但有些未实现的操作/层在 SHAVE 核心上实现。
- 16x SHAVE 核心 - 向量处理器。用于执行某些 NN 操作/层,它们用途广泛,也可用于其他任务,如 CV 算法(重新格式化图像、执行某些 ISP 等)。
- 对于更高的分辨率,会消耗更多的 SHAVES;对于 1080P,使用 3 个 SHAVES,对于 4K,使用 6 个 SHAVES。
- DepthAI 内部的资源管理器协调 SHAVES 的使用,并在给定管道配置请求过多资源时发出警告。
- 20x CMX 切片 - 这些是快速 SRAM 内存块(每个 128kB),用于临时存储计算。它们被 NN 模型、相机 ISP(1080P 或更低分辨率使用 3 个 CMX 切片)、图像处理过程等使用。请注意,4 个 CMX 切片是预分配的,因此只有 16 个可用。
- 立体管道 - 立体匹配(普查变换、成本匹配和成本聚合)由 StereoDepth 节点 使用。
- 视频编码器,支持 MJPEG、H264 和 H265 编解码器。它由 VideoEncoder 节点使用。
- 视觉模块:
- 边缘检测 - 由 EdgeDetector 节点使用。
- 3x Warp 引擎 - 由 ImageManip 节点 / Warp 节点使用,用于扭曲、立体校正、去畸变等。
- 角点检测 (Harris/Shi-Thomasi) - 由 FeatureTracker 节点使用。
- 运动估计器 - 由 FeatureTracker 节点使用。
- 最小/最大计算器 - 由 FeatureTracker 节点用于 NMS(用于 Harris 角点检测)。