Robotics Vision Core 3 (RVC3)
最后更新
- 针对特定 SoC 精心调优的 DepthAI 功能
- 高性能 SoC 及其所有支持电路(高速 PCB 布局、电源传输网络、高效散热等)
- 与 Luxonis Hub(我们的云平台)的开箱即用连接,可实现感知堆栈的端到端集成。
基于 RVC3 的设备
- RAE - 用于评估 DepthAI 和机器人应用快速原型设计的桌面机器人
- OAK-FFC 6P - 一款非常适合原型设计的模块化相机套件
RVC3 的现状
- ResNet50(分类)FPS - RVC2:29,RVC3:114,增长近 400%。相比之下,RVC4 的 ResNet50 FPS 达到 934。
- Yolov5N(目标检测)FPS - RVC2:40,RVC3:6,下降约 85%。
- Yolov6N(目标检测)FPS - RVC2:60,RVC3:47,仅下降 20%。
RVC3 性能
- 3.0 TOPS 用于 AI,支持 INT8 量化
- 四核 ARM A53 @ 1.5GHz,运行 Yocto Linux,作为主机
- 成像:ISP,最多 6 个摄像头,500 MP/s HDR,3A
- 运行任何 AI 模型,甚至是自定义架构/构建的模型 - 模型需要进行转换。
- 云平台 - Luxonis Hub - 开箱即用的连接性
- 设备上的 SLAM / VIO 支持
- 编码:H.264、H.265、MJPEG - 4K/75FPS,解码:4K/60FPS
- 计算机视觉:通过 ImageManip 节点进行扭曲/去扭曲、调整大小、裁剪,边缘检测,特征跟踪。您还可以在设备上运行自定义 CV 函数
- 对象跟踪:使用 ObjectTracker 节点进行 2D 和 3D 跟踪
RVC3 与 RVC2 的比较
四核 ARM
自定义应用程序
SLAM / VIO
立体深度
NN 量化
RVC3 规格
| 规格 | 值 |
|---|---|
| 标称 VPU 时钟 | 500 MHz |
| ResNet-50 性能 | 每秒 240 次推理 |
| AI TOPS | 3.0 TOPS |
| SHAVE 处理器 | 12 |
| 计算机视觉 | CV/Warp 加速,速度为 1.0 GB/s。6DOF 运动掩码支持 |
| 立体深度 | 720P 分辨率,180 FPS |
| 视频编码 | 最大 4K 75FPS。H.264、H.265 和 JPEG 编解码器 |
| 视频解码 | 最大 4K 60FPS,最大 10 通道 1080P/30FPS。H.264、H.265 和 JPEG 编解码器 |
| 成像 | ISP,最大 6 个摄像头,500 MP/s HDR,TNF,3A,ULL。支持 4K/60FPS |
| 接口 | 多个 I2C、Quad-SPI、I2S、UART、PCIe Gen4 接口、USB 3.1/2、1GB 以太网、多个 GPIO |
| 工作温度 | -40°C 至 105°C(与 RVC2 相同) |
| RAM 支持 | 2x 32 位 DRAM,频率为 1600-2133 MHz |
原生媒体支持
- GStreamer 框架
- OpenCV(或 G-API)用于计算机视觉
- 视频加速 API / 英特尔媒体 SDK 用于编码和解码
RVC3 HDR 支持
- IMX412 驱动程序(我们也将其用于 IMX577/IMX477),需要 12MP 分辨率和 4 条 MIPI 通道
- IMX327 驱动程序(我们也将其用于 IMX462),需要 1080P 和 4 条 MIPI 通道
Python
1colorCam1.initialControl.setMisc("camera-mode", "HDR-2DOL")
2# 或者,对于 3DOL:
3colorCam2.initialControl.setMisc("camera-mode", "HDR-3DOL")
4# 请注意,3DOL 仅适用于静态场景