此页面由 AI 自动翻译。查看英文原版
最后更新

本页目录

  • 基于 RVC3 的设备
  • RVC3 的现状
  • RVC3 性能
  • RVC3 与 RVC2 的比较
  • 四核 ARM
  • 自定义应用程序
  • SLAM / VIO
  • 立体深度
  • NN 量化
  • RVC3 规格
  • 原生媒体支持
  • RVC3 HDR 支持
  • 功耗

Robotics Vision Core 3 (RVC3)

最后更新
Robotics Vision Core 3(简称 RVC3)是我们 RVC 的第三代产品。它包含三个主要组件:
  • 针对特定 SoC 精心调优的 DepthAI 功能
  • 高性能 SoC 及其所有支持电路(高速 PCB 布局、电源传输网络、高效散热等)
  • 与 Luxonis Hub(我们的云平台)的开箱即用连接,可实现感知堆栈的端到端集成。

基于 RVC3 的设备

以下是基于 RVC3 构建的设备列表:
  • RAE - 用于评估 DepthAI 和机器人应用快速原型设计的桌面机器人
  • OAK-FFC 6P - 一款非常适合原型设计的模块化相机套件

RVC3 的现状

首先也是最重要的是,我们想明确表示 Luxonis 将 100% 继续支持 RVC3 架构,包括用于许多标准和客户特定设备。 RVC3 带来了许多优于 RVC2 的改进功能,我们将在未来几年内支持 RVC3,以帮助我们的客户实现这些功能。然而,RVC3 确实存在一些限制。它基于 Movidius Keembay 构建,而英特尔已将其优先级降低。主要限制在于 AI 性能。尽管 TOPS 更高,但它缺乏对某些神经网络层/操作的支持,并且某些 NN 操作/层未针对 AI 子系统进行优化。这与其前身(RVC2)不同。英特尔发布了基于 Myriad X 芯片的 Neural Compute Stick 2 (NCS2),它被用作通用 AI 计算硬件,并针对大多数 NN 操作进行了优化。这种差异导致某些模型在 RVC3 上表现出色,而另一些模型则不受支持或比 RVC2 上的模型慢得多。例如:
  • ResNet50(分类)FPS - RVC2:29,RVC3:114,增长近 400%。相比之下,RVC4 的 ResNet50 FPS 达到 934。
  • Yolov5N(目标检测)FPS - RVC2:40,RVC3:6,下降约 85%。
  • Yolov6N(目标检测)FPS - RVC2:60,RVC3:47,仅下降 20%。
除了 AI 限制之外,VPU(类似于 RVC2 架构)由于硬件挑战而被降频约 20%,并且子像素模式存在硬件错误。尽管如此,RVC3 对于许多用例来说仍然是一款出色的芯片,因为它集成了四核 ARM,可以实现独立模式操作。 Yolov6N 也可以运行良好,它可以与其他功能(如对象跟踪)一起解决许多业务问题。总的来说,凭借经过充分验证的 RVC2 和即将推出的 RVC4(2024 年第四季度),我们预计一些客户将更倾向于现在使用 RVC2 或使用我们即将推出的 RVC4,而不是使用 RVC3。

RVC3 性能

  • 3.0 TOPS 用于 AI,支持 INT8 量化
  • 四核 ARM A53 @ 1.5GHz,运行 Yocto Linux,作为主机
  • 成像:ISP,最多 6 个摄像头,500 MP/s HDR,3A
  • 运行任何 AI 模型,甚至是自定义架构/构建的模型 - 模型需要进行转换。
  • 云平台 - Luxonis Hub - 开箱即用的连接性
  • 设备上的 SLAM / VIO 支持
  • 编码:H.264、H.265、MJPEG - 4K/75FPS,解码:4K/60FPS
  • 计算机视觉:通过 ImageManip 节点进行扭曲/去扭曲、调整大小、裁剪,边缘检测,特征跟踪。您还可以在设备上运行自定义 CV 函数
  • 对象跟踪:使用 ObjectTracker 节点进行 2D 和 3D 跟踪

RVC3 与 RVC2 的比较

与 RVC2 相比,主要区别在于:
  • 集成四核 ARM A53 运行 YOCTO Linux(详情)
  • 增强的立体深度感知(详情)
  • NN INT8 量化支持(详情)
我们还保持了向后兼容性,因此为 RVC2-based 设备编写的管道仍可在 Series 3 设备上运行。

四核 ARM

将带有 Neon 技术和浮点扩展(Linux 5.3)的四核 ARM A53 1.5GHz 集成到 VPU 中,类似于拥有 RVC2 + Raspberry Pi 3B+(四核 A53 1.4GHz),这可以使最终项目和产品更加紧凑。

自定义应用程序

用户将能够通过 Luxonis Hub 在 S3 设备上的 ARM 处理器上执行自定义容器化应用程序。 这些容器化应用程序还将能够与 GPIO 和通信接口(I2C、UART...)进行交互,因此客户 将能够例如从自定义传感器读取数据,或直接从 OAK-SoM MAX 与微处理器通信。还可以像以前的版本(例如 OAK-D、OAK-D-Lite)一样使用基于 RVC3 的设备;通过 USB 将其连接到计算机,然后启动应用程序。凭借板载计算能力,程序/应用程序将能够在设备本身上进行完整的模型解码,这将使 DepthAI 应用程序更加灵活并具有更低的延迟。

SLAM / VIO

由于 Series 3 OAK 相机具有板载四核 ARM,因此可以在 OAK 相机本身上运行 VIO 或 SLAM 软件堆栈。 稀疏 SLAM 在设备上受支持,对于密集 SLAM 可能需要额外的宿主计算(待定)。

立体深度

Series 3 OAK 设备采用基于 CNN 的像素描述符计算,而之前的 OAK 系列则使用 Census 变换。

NN 量化

RVC3 支持 FP16 和 INT8 数据类型。OpenVINO 也提供了模型量化工具,因此转换模型与为 RVC2(仅支持 FP16)转换模型没有什么不同。INT8 量化提高了某些神经网络层的推理性能。RVC3 集成了 20 个 DPU(数据处理单元),能够提供 5.12 TOPS (INT8) 或 1.28 TFLOPS (FP16)。

RVC3 规格

规格值
标称 VPU 时钟500 MHz
ResNet-50 性能每秒 240 次推理
AI TOPS3.0 TOPS
SHAVE 处理器12
计算机视觉CV/Warp 加速,速度为 1.0 GB/s。6DOF 运动掩码支持
立体深度720P 分辨率,180 FPS
视频编码最大 4K 75FPS。H.264、H.265 和 JPEG 编解码器
视频解码最大 4K 60FPS,最大 10 通道 1080P/30FPS。H.264、H.265 和 JPEG 编解码器
成像ISP,最大 6 个摄像头,500 MP/s HDR,TNF,3A,ULL。支持 4K/60FPS
接口多个 I2C、Quad-SPI、I2S、UART、PCIe Gen4 接口、USB 3.1/2、1GB 以太网、多个 GPIO
工作温度-40°C 至 105°C(与 RVC2 相同)
RAM 支持2x 32 位 DRAM,频率为 1600-2133 MHz
ResNet-50 性能是在 INT8 量化、(最大)原生优化和 50% 权重稀疏度下测量的。

原生媒体支持

  • GStreamer 框架
  • OpenCV(或 G-API)用于计算机视觉
  • 视频加速 API / 英特尔媒体 SDK 用于编码和解码
用户还可以在其 详情 中使用上述库/框架。

RVC3 HDR 支持

RVC3 支持 HDR(高动态范围)模式,与标准模式相比,可以捕获具有更高动态范围的图像。支持的相机传感器:
  • IMX412 驱动程序(我们也将其用于 IMX577/IMX477),需要 12MP 分辨率和 4 条 MIPI 通道
  • IMX327 驱动程序(我们也将其用于 IMX462),需要 1080P 和 4 条 MIPI 通道
要启用 HDR,您可以指定:
Python
1colorCam1.initialControl.setMisc("camera-mode", "HDR-2DOL")
2# 或者,对于 3DOL:
3colorCam2.initialControl.setMisc("camera-mode", "HDR-3DOL")
4# 请注意,3DOL 仅适用于静态场景
DOL HDR 代表数字重叠 HDR。模式之间的比较如下所示:

功耗

RVC3 本身的功耗最大约为 8W,主要由集成在 RVC3 内部的 SoC Movidius Keem Bay 消耗。