概览硬件软件云平台

本页目录

  • RVC3设备
  • RVC3状态
  • RVC3性能
  • RVC3与RVC2对比
  • 四核ARM
  • 自定义应用
  • SLAM / VIO
  • 立体深度
  • NN量化
  • RVC3规格
  • 原生媒体支持
  • RVC3 HDR支持
  • 功耗

Robotics Vision Core 3 (RVC3)

Robotics Vision Core 3（简称RVC3）是我们RVC的第三代产品。它封装了三个主要组件：
  • 针对特定SoC优化的DepthAI功能
  • 高性能SoC及其所有支持电路（高速PCB布局、供电网络、高效散热等）
  • 与Luxonis Hub——我们的云平台——开箱即用的连接，实现感知栈的端到端集成。

RVC3设备

以下是基于RVC3构建的设备列表：
  • RAE - 用于评估DepthAI和机器人应用快速原型开发的桌面机器人
  • OAK-FFC 6P - 一款适用于原型开发的模块化相机套件

RVC3状态

首先且最重要的是，我们要明确：Luxonis 100%会继续支持RVC3架构，包括它所用于的许多标准设备和客户定制设备。 RVC3解锁了比RVC2更强大的能力，我们将在未来数年持续支持RVC3，以帮助客户实现这些能力。然而，RVC3确实存在一些限制。它基于Movidius Keembay构建，而Intel已降低了对该平台的优先级。主要限制在于AI性能。尽管TOPS更高，但它缺乏对某些神经网络层/运算的支持，且某些NN运算/层未针对AI子系统进行优化。这一点与其前代（RVC2）不同。Intel发布了基于Myriad X芯片的神经计算棒2（NCS2），它被用作通用AI计算硬件，并对大多数NN运算进行了优化。这种差异导致某些模型在RVC3上表现极佳，而另一些则不受支持或明显慢于RVC2。例如：
  • ResNet50（分类）FPS - RVC2: 29, RVC3: 114，提升近400%。作为对比，RVC4在ResNet50上达到934 FPS。
  • Yolov5N（目标检测）FPS - RVC2: 40, RVC3: 6，FPS下降约85%。
  • Yolov6N（目标检测）FPS - RVC2: 60, RVC3: 47，仅下降20%。
除了AI限制外，VPU（类似于RVC2架构）因硬件挑战被降频约20%，且亚像素模式存在硬件勘误。尽管如此，RVC3 在许多用例中仍然是一款出色的芯片，因为它集成了四核ARM，支持独立运行模式。 Yolov6N也能良好运行，结合其他功能（如目标跟踪）可以解决许多商业问题。总体而言，随着经过充分验证的RVC2以及即将推出的RVC4（2024年第四季度），我们预计部分客户将倾向于现在专注于使用RVC2，或与我们即将到来的RVC4合作，而非使用RVC3。

RVC3性能

  • 3.0 TOPS 用于 AI，支持INT8量化
  • 四核ARM A53 @ 1.5GHz，运行Yocto Linux，充当主机计算机
  • 成像：ISP，最多6个摄像头，500 MP/s HDR，3A
  • 运行任何AI模型，甚至自定义架构/构建的模型——模型需要转换
  • 云平台 - The Luxonis Hub - 开箱即用的连接性
  • 设备端SLAM / VIO支持
  • 编码：H.264、H.265、MJPEG - 4K/75FPS，解码：4K/60FPS
  • 计算机视觉：通过ImageManip节点进行扭曲/反扭曲、调整大小、裁剪，边缘检测，特征跟踪。你还可以运行自定义CV函数

RVC3与RVC2对比

与RVC2相比，主要差异如下：
  • 集成四核ARM A53，运行YOCTO Linux（详情）
  • 增强的立体深度感知（详情）
  • 支持NN INT8量化（详情）
我们还保持了向后兼容性，因此为RVC2设备编写的管道仍可在Series 3设备上运行。

四核ARM

将四核ARM A53 1.5GHz（带Neon技术和浮点扩展，Linux 5.3）集成到VPU中，类似于拥有RVC2 + Raspberry Pi 3B+（四核A53 1.4GHz），这使得最终项目和产品更加紧凑。

自定义应用

用户将能够通过Luxonis Hub在S3设备的ARM处理器上执行自定义容器化应用。 这些容器化应用还能与GPIO和通信接口（I2C、UART等）进行交互，因此客户可以直接从OAK-SoM MAX读取自定义传感器的数据，或与微处理器通信。使用基于RVC3的设备也将与之前版本（例如OAK-D、OAK-D-Lite）一样，只需通过USB连接到电脑，然后启动应用程序即可。凭借板载计算能力，程序/应用将能够完全在设备本身上进行模型解码，从而使DepthAI应用更灵活、延迟更低。

SLAM / VIO

由于Series 3 OAK摄像头搭载了板载四核ARM，因此可以在OAK摄像头本身上运行VIO或SLAM软件栈。稀疏SLAM支持在设备上运行，而密集SLAM可能需要额外的主机计算（待定）。

立体深度

Series 3 OAK设备采用基于CNN的像素描述符计算，与之前OAK系列中使用的census变换不同。

NN量化

RVC3支持FP16和INT8数据类型。OpenVINO也提供了模型量化工具，因此转换模型的方式与转换针对RVC2（仅支持FP16）的模型并无不同。INT8量化可提升某些神经网络层的推理性能。RVC3集成了20个DPU（数据处理单元），能够提供5.12 TOPS（INT8）或1.28 TFLOPS（FP16）的计算能力。

RVC3规格

规格值
标称VPU时钟500 MHz
ResNet-50性能240次推理/秒
AI TOPS3.0 TOPS
SHAVE处理器12个
计算机视觉CV/Warp加速，1.0 GB/s。支持6自由度运动掩膜
立体深度720P分辨率，180 FPS
视频编码最大4K 75FPS。支持H.264、H.265和JPEG编解码器
视频解码最大4K 60FPS，最大10路1080P/30FPS。支持H.264、H.265和JPEG编解码器
成像ISP，最多6个摄像头，500 MP/s HDR，TNF，3A，ULL。支持4K/60FPS
接口多个I2C、Quad-SPI、I2S、UART、PCIe Gen4接口，USB 3.1/2，1GB以太网，大量GPIO
工作温度-40°C至105°C（与RVC2相同）
RAM支持2路32位DRAM，1600-2133 MHz
ResNet-50性能基于INT8量化（最大）原生优化，且权重稀疏度为50%。

原生媒体支持

  • GStreamer框架
  • 用于计算机视觉的OpenCV（或G-API）
  • 用于编码和解码的视频加速API / Intel Media SDK
用户还可以在其详情中使用上述库/框架。

RVC3 HDR支持

RVC3支持HDR（高动态范围）模式，可捕获比标准模式更高动态范围的图像。支持的摄像头传感器：
  • IMX412驱动（也复用于IMX577/IMX477），需要12MP分辨率和4条MIPI通道
  • IMX327驱动（也复用于IMX462），需要1080P和4条MIPI通道
要启用HDR，可以指定：
Python
1colorCam1.initialControl.setMisc("camera-mode", "HDR-2DOL")
2# 或者，对于3DOL：
3colorCam2.initialControl.setMisc("camera-mode", "HDR-3DOL")
4# 注意：3DOL仅适用于静态场景
DOL HDR代表数字重叠HDR。两种模式的对比如下：

功耗

RVC3本身的最大功耗约为8W，主要由集成在RVC3内部的SoC——Movidius Keem Bay消耗。