# Robotics Vision Core 3 (RVC3)

Robotics Vision Core 3（简称RVC3）是我们RVC的第三代产品。它封装了三个主要组件：

 * 针对特定SoC优化的DepthAI功能
 * 高性能SoC及其所有支持电路（高速PCB布局、供电网络、高效散热等）
 * 与[Luxonis Hub](https://www.luxonis.com/robothub)——我们的云平台——开箱即用的连接，实现感知栈的端到端集成。

## RVC3设备

以下是基于RVC3构建的设备列表：

 * RAE - 用于评估DepthAI和机器人应用快速原型开发的桌面机器人
 * [OAK-FFC 6P](https://files.luxonis.com/store-files/oak-ffc-6p.pdf) - 一款适用于原型开发的模块化相机套件

## RVC3状态

首先且最重要的是，我们要明确：Luxonis 100%会继续支持RVC3架构，包括它所用于的许多标准设备和客户定制设备。 RVC3解锁了比RVC2更强大的能力，我们将在未来数年持续支持RVC3，以帮助客户实现这些能力。

然而，RVC3确实存在一些限制。它基于Movidius Keembay构建，而Intel已降低了对该平台的优先级。主要限制在于AI性能。尽管TOPS更高，但它缺乏对某些神经网络层/运算的支持，且某些NN运算/层未针对AI子系统进行优化。

这一点与其前代（[RVC2](https://docs.luxonis.com/hardware/platform/rvc/rvc2.md)）不同。Intel发布了基于Myriad
X芯片的[神经计算棒2](https://www.intel.com/content/www/us/en/developer/articles/tool/neural-compute-stick.html)（NCS2），它被用作通用AI计算硬件，并对大多数NN运算进行了优化。

这种差异导致某些模型在RVC3上表现极佳，而另一些则不受支持或明显慢于RVC2。例如：

 * ResNet50（分类）FPS - RVC2: 29, RVC3: 114，提升近400%。作为对比，RVC4在ResNet50上达到934 FPS。
 * Yolov5N（目标检测）FPS - RVC2: 40, RVC3: 6，FPS下降约85%。
 * Yolov6N（目标检测）FPS - RVC2: 60, RVC3: 47，仅下降20%。

除了AI限制外，VPU（类似于RVC2架构）因硬件挑战被降频约20%，且亚像素模式存在硬件勘误。

尽管如此，RVC3 在许多用例中仍然是一款出色的芯片，因为它集成了四核ARM，支持独立运行模式。 Yolov6N也能良好运行，结合其他功能（如目标跟踪）可以解决许多商业问题。

总体而言，随着经过充分验证的RVC2以及即将推出的RVC4（2024年第四季度），我们预计部分客户将倾向于现在专注于使用[RVC2](https://docs.luxonis.com/hardware/platform/rvc/rvc2.md)，或与我们即将到来的RVC4合作，而非使用RVC3。

## RVC3性能

 * 3.0 TOPS 用于 AI，支持[INT8量化](#NN%20quantization)
 * [四核ARM](#Quad-core%20ARM) A53 @ 1.5GHz，运行Yocto Linux，充当主机计算机
 * 成像：ISP，最多6个摄像头，500 MP/s HDR，3A
 * 运行任何AI模型，甚至自定义架构/构建的模型——模型需要[转换](https://docs.luxonis.com/software/ai-inference/conversion.md)
 * 云平台 - [The Luxonis Hub](https://www.luxonis.com/hub) - 开箱即用的连接性
 * 设备端[SLAM / VIO](https://docs.luxonis.com/software/ros/vio-slam.md#slam-with-oak)支持
 * 编码：H.264、H.265、MJPEG - 4K/75FPS，解码：4K/60FPS
 * 计算机视觉：通过[ImageManip](https://docs.luxonis.com/software/depthai-components/nodes/image_manip.md)节点进行扭曲/反扭曲、调整大小、裁剪，[边缘检测](https://docs.luxonis.com/software/depthai/examples/edge_detector.md)，[特征跟踪](https://docs.luxonis.com/software/depthai/examples/feature_tracker.md)。你还可以[运行自定义CV函数](https://docs.luxonis.com/software-v3/depthai/perception/computer-vision.md)

 * 目标跟踪：通过[ObjectTracker](https://docs.luxonis.com/software/depthai-components/nodes/object_tracker.md)节点进行2D和3D跟踪

## RVC3与RVC2对比

与[RVC2](https://docs.luxonis.com/hardware/platform/rvc/rvc2.md)相比，主要差异如下：

 * 集成四核ARM A53，运行YOCTO Linux（[详情](#Quad-core%20ARM)）
 * 增强的立体深度感知（[详情](#Stereo%20Depth)）
 * 支持NN INT8量化（[详情](#NN%20quantization)）

我们还保持了向后兼容性，因此为[RVC2设备](https://docs.luxonis.com/hardware/platform/rvc/rvc2.md)编写的管道仍可在Series 3设备上运行。

## 四核ARM

将四核ARM A53 1.5GHz（带Neon技术和浮点扩展，Linux 5.3）集成到VPU中，类似于拥有[RVC2](https://docs.luxonis.com/hardware/platform/rvc/rvc2.md) + Raspberry
Pi 3B+（四核A53 1.4GHz），这使得最终项目和产品更加紧凑。

## 自定义应用

用户将能够通过Luxonis Hub在S3设备的ARM处理器上执行自定义容器化应用。 这些容器化应用还能与GPIO和通信接口（I2C、UART等）进行交互，因此客户可以直接从[OAK-SoM
MAX](https://shop71313603.taobao.com/?spm=pc_detail.30350276.shop_block.dshopinfo.27a17dd635FNDA)读取自定义传感器的数据，或与微处理器通信。

使用基于RVC3的设备也将与之前版本（例如OAK-D、OAK-D-Lite）一样，只需通过USB连接到电脑，然后启动应用程序即可。凭借板载计算能力，程序/应用将能够完全在设备本身上进行模型解码，从而使DepthAI应用更灵活、延迟更低。

## SLAM / VIO

由于Series 3
OAK摄像头搭载了板载四核ARM，因此可以在OAK摄像头本身上运行[VIO或SLAM软件栈](https://docs.luxonis.com/software/ros/vio-slam.md)。稀疏SLAM支持在设备上运行，而密集SLAM可能需要额外的主机计算（待定）。

## 立体深度

Series 3 OAK设备采用基于CNN的像素描述符计算，与之前OAK系列中使用的census变换不同。

## NN量化

RVC3支持FP16和INT8数据类型。OpenVINO也提供了模型量化工具，因此转换模型的方式与转换针对[RVC2](https://docs.luxonis.com/hardware/platform/rvc/rvc2.md)（仅支持FP16）的模型并无不同。

INT8量化可提升某些神经网络层的推理性能。

RVC3集成了20个DPU（数据处理单元），能够提供5.12 TOPS（INT8）或1.28 TFLOPS（FP16）的计算能力。

## RVC3规格

| 规格 | 值 |
| --- | --- |
| 标称VPU时钟 | 500 MHz |
| ResNet-50性能 | 240次推理/秒 |
| AI TOPS | 3.0 TOPS |
| SHAVE处理器 | 12个 |
| 计算机视觉 | CV/Warp加速，1.0 GB/s。支持6自由度运动掩膜 |
| 立体深度 | 720P分辨率，180 FPS |
| 视频编码 | 最大4K 75FPS。支持H.264、H.265和JPEG编解码器 |
| 视频解码 | 最大4K 60FPS，最大10路1080P/30FPS。支持H.264、H.265和JPEG编解码器 |
| 成像 | ISP，最多6个摄像头，500 MP/s HDR，TNF，3A，ULL。支持4K/60FPS |
| 接口 | 多个I2C、Quad-SPI、I2S、UART、PCIe Gen4接口，USB 3.1/2，1GB以太网，大量GPIO |
| 工作温度 | -40°C至105°C（与[RVC2](https://docs.luxonis.com/hardware/platform/rvc/rvc2.md)相同） |
| RAM支持 | 2路32位DRAM，1600-2133 MHz |

ResNet-50性能基于INT8量化（最大）原生优化，且权重稀疏度为50%。

## 原生媒体支持

 * GStreamer框架
 * 用于计算机视觉的OpenCV（或G-API）
 * 用于编码和解码的视频加速API / Intel Media SDK

用户还可以在其[详情](#Custom%20applications)中使用上述库/框架。

## RVC3 HDR支持

RVC3支持HDR（高动态范围）模式，可捕获比标准模式更高动态范围的图像。支持的摄像头传感器：

 * IMX412驱动（也复用于[IMX577](https://docs.luxonis.com/hardware/sensors/IMX577.md)/[IMX477](https://docs.luxonis.com/hardware/sensors/IMX477.md)），需要12MP分辨率和4条MIPI通道
 * IMX327驱动（也复用于[IMX462](https://docs.luxonis.com/hardware/sensors/IMX462.md)），需要1080P和4条MIPI通道

要启用HDR，可以指定：

```python
colorCam1.initialControl.setMisc("camera-mode", "HDR-2DOL")
# 或者，对于3DOL：
colorCam2.initialControl.setMisc("camera-mode", "HDR-3DOL")
# 注意：3DOL仅适用于静态场景
```

DOL HDR代表数字重叠HDR。两种模式的对比如下：

## 功耗

RVC3本身的最大功耗约为8W，主要由集成在RVC3内部的SoC——Movidius Keem Bay消耗。