此页面由 AI 自动翻译。查看英文原版
平台
最后更新

本页目录

  • RVC2 性能
  • RVC2 NN 性能
  • NN 性能估算
  • 功耗
  • 硬件模块和加速器

Robotics Vision Core 2 (RVC2)

最后更新
Robotics Vision Core 2(简称 RVC2)是我们 RVC 的第二代产品。第二代 OAK 设备和我们的初始设备都基于 RVC2 构建。RVC2 包含两个主要组件:
  • 针对特定 SoC 进行了微调的 DepthAI 功能
  • 高性能 SoC 及其所有支持电路(高速 PCB 布局、电源传输网络、高效散热等)

RVC2 性能

  • 4 TOPS 处理能力(1.4 TOPS 用于 AI)- RVC2 NN 性能
  • 运行任何 AI 模型,甚至是自定义架构/构建的模型 - 模型需要进行转换。
  • 编码:H.264、H.265、MJPEG - 4K/30FPS、1080P/60FPS
  • 计算机视觉:通过 ImageManip 节点进行扭曲/去扭曲、调整大小、裁剪,边缘检测,特征跟踪。您还可以运行自定义 CV 功能
  • 对象跟踪:使用 ObjectTracker 节点进行 2D 和 3D 跟踪
  • 设备端编程:在设备上运行自定义逻辑/任务(指南)

RVC2 NN 性能

点击此处 查看包含 81 个测试结果的完整表格。
模型名称大小FPS延迟 [ms]
ResNet-50224x22426.556.5
MobileOne S0224x224165.511.1
Resnet18224x22594.819.7
DeepLab V3256 x 25636.548.1
DeepLab V3513 x 5136.3253.1
YOLOv6n R2416x41665.529.3
YOLOv6n R2640x64029.366.4
YOLOv6t R2416x41635.854.1
YOLOv6t R2640x64014.2133.6
YOLOv6m R2416x4168.6190.2
YOLOv7t416x41646.737.6
YOLOv7t640x64017.897.0
YOLOv8n416x41631.356.9
YOLOv8n640x64014.3123.6
YOLOv8s416x41615.2111.9
YOLOv8m416x4166.0273.8
YOLOv9t416x41621.7046.09
YOLOv9t640x64010.6993.60
YOLOv9s416x41612.7478.49
YOLOv9m416x4164.71212.31
YOLOv10n416x41627.0736.95
YOLOv10n640x64012.6279.21
YOLOv10s416x41614.0371.29
YOLOv10m416x4166.05165.26
YOLO11n416x41628.0835.61
YOLO11n640x64012.8078.11
YOLO11s416x41612.1782.14
YOLO11m416x4163.90256.20
模型使用 8 个 shaves 编译,并使用 2 个 NN 推理线程。延迟包括通过 USB3 从设备获取结果。每个模型运行 5 次迭代,FPS 计算为平均值。

NN 性能估算

您可以借助下图估算模型的性能。它包含基于 FLOPs 和参数的 RVC2 上模型的 FPS 估算。
RVC2 NN performance
点击图片查看常见模型的更详细 FPS 评估。

功耗

RVC2 本身的最大功耗约为 4.5W,主要由集成在 RVC2 内部的 SoC Movidius Myriad X 消耗。

硬件模块和加速器

SoC 集成了许多硬件加速器,DepthAI API 旨在最佳地利用它们:
  • 2xLeon CPU 核心:
    • Leon CSS 处理:USB/以太网堆栈(由 XLink 框架管理)、IMU、3A 算法。减少 CSS CPU 消耗的一种方法是当前通过降低相机 FPS 来降低 3A 速率。我们还在研究跳过某些帧的 3A(例如,每 3 帧只运行一次 3A)。POE 模型上的 CSS CPU 消耗更高,因为它正在运行以太网堆栈。
    • Leon MSS 处理所有其他事务;调度硬件加速功能、使用 shaves 等。
  • ISP - 图像信号处理器,用于图像处理,例如去噪、锐化等。整个 ISP 配置通过 ColorCamera 节点和 MonoCamera 节点通过 API 公开。
  • 2x NCEs(神经网络计算引擎)专为一系列操作/层而设计,但有些未实现的操作/层在 SHAVE 核心上实现。
  • 16x SHAVE 核心 - 向量处理器。用于执行某些 NN 操作/层,它们用途广泛,也可用于其他任务,如 CV 算法(重新格式化图像、执行某些 ISP 等)。
    • 对于更高的分辨率,会消耗更多的 SHAVES;对于 1080P,使用 3 个 SHAVES,对于 4K,使用 6 个 SHAVES。
    • DepthAI 内部的资源管理器协调 SHAVES 的使用,并在给定管道配置请求过多资源时发出警告。
  • 20x CMX 切片 - 这些是快速 SRAM 内存块(每个 128kB),用于临时存储计算。它们被 NN 模型、相机 ISP(1080P 或更低分辨率使用 3 个 CMX 切片)、图像处理过程等使用。请注意,4 个 CMX 切片是预分配的,因此只有 16 个可用。
  • 立体管道 - 立体匹配(普查变换、成本匹配和成本聚合)由 StereoDepth 节点 使用。
  • 视频编码器,支持 MJPEG、H264 和 H265 编解码器。它由 VideoEncoder 节点使用。
  • 视觉模块:
您可以通过启用调试信息来检查 SHAVE 和 CMX。