此页面由 AI 自动翻译。查看英文原版
平台
最后更新

本页目录

  • 计算机视觉引擎
  • 图像信号处理器
  • AI
  • AI功耗
  • Jetson对比
  • 能源效率
  • 自定义应用
  • 功耗

机器人视觉核心 4 (RVC4)

最后更新
机器人视觉核心 4(简称 RVC4)是我们RVC的第四代产品。主要规格:
  • 6核 ARMv8 CPU 运行 Linux
  • AI:48 INT8,12 FP16 TOPS
  • GPU:4 FP16 TOPS
  • 计算机视觉:立体深度、帧扭曲引擎、光流、特征检测、描述匹配、模板匹配
  • ISP:5路摄像头流,HDR,EIS,3A
  • 编码:4K @ 240FPS 解码,4K @ 120FPS 编码(H264和H265)。还支持VP9、AV1解码
要保持最新状态,请考虑订阅 RVC4 时事通讯。

计算机视觉引擎

  • 立体深度:最大 800P @ 60FPS,默认 4位子像素,64视差搜索。8位置信度图,空间一致性,遮挡和纹理遮蔽,±3像素线校正误差容忍度
    • 最大立体分辨率为 1280x1280
  • 图像扭曲引擎:吞吐量 1080P @ 240FPS
  • 光流:半稠密:1080P @ 60FPS,全稠密:VGA @ 60 FPS
  • 特征检测:Harris角点检测,1080P @ 60FPS
  • 描述匹配:ORB计算和内联匹配。描述符:256位。最大 1080P,每 500个描述符 1ms(计算+匹配)
  • 模板匹配:最大 1080P,500个模板 1.2ms,每帧最大 1024个补丁

图像信号处理器

RVC4的图像信号处理器(ISP)具有以下功能:
  • 最多 3路并发摄像头流(带ISP处理)
    • 3x 36MP @ 30FPS 或
    • 1x 36MP + 1x 72MP @ 30FPS 或
    • 1x 108MP @ 30FPS
  • 最多 2路额外的原始输出流(无ISP处理)
  • 3A(自动曝光、自动白平衡、自动对焦)
  • 支持 18 bpp(每像素位数)
  • 硬件 HDR:交错 HDR,数字重叠,非重叠
  • 图像稳定(EIS),良好的低光性能

AI

RVC4 NN模型基准(峰值性能):
模型名称大小FPS任务
YoloV5m640x640280目标检测
YoloV6n512x2882340目标检测
YoloV7-W6640x640162目标检测
ResNet-50224x224934分类
ViT-Tiny224x224650分类
BiSeNetv1-MBNV2512x228647语义分割
eWaSR512x384309语义分割

AI功耗

RVC4的AI系统设计为节能且可根据用户需求进行配置。AI系统可以配置为以不同的功率级别(FPS速度)运行,这将影响AI系统的性能。 下表显示了不同FPS速度下的模型FPS和[功耗]:
模型名称低FPS中FPS高FPS最大FPS
BiSeNet-MBNV2 (512x288)80 [0.67 W]133 [1.04 W]391 [3.02 W]647 [5 W]
eWaSR ResNet18 (512x384)59 [0.79 W]106 [1.51 W]229 [3.55 W]309 [5.25 W]
MobileVit-xxs (224x224)104 [0.63 W]199 [1 W]277 [1.82 W]488 [3.27 W]
Repvgg_a2 (224x224)181 [1.07 W]327 [2.22 W]466 [3.75 W]1250 [10.4 W]
ResNet101 (224x224)115 [1.05 W]243 [2.4 W]339 [3.57 W]718 [8.62 W]
ResNet50-v2-7 (224x224)145 [0.96 W]260 [1.9 W]380 [2.83 W]934 [7.65 W]
ViT-Tiny patch16 (224x224)124 [0.7 W]228 [1.25 W]300 [1.88 W]615 [4.27 W]
Yolo6N (512x288)190 [0.7 W]307 [1.1 W]702 [3.8 W]2340 [7.5 W]
YoloV5M (640x640)48 [0.93 W]72 [1.75 W]212 [6.05 W]280 [8.4 W]
YoloV7-W6 (640x640)34 [1.05 W]60 [2.48 W]139 [7.45 W]162 [7.85 W]
功耗测量是在10秒推理运行期间对整个RVC4板进行的。因此,AI功耗会略低一些,因为芯片的其余部分(主要是CPU)也在消耗功率。

Jetson对比

Nvidia的Jetson系列目前是事实上的边缘AI平台。我们测试了Jetson Orin Nano 8GB(标准版,非超级版), 它具有40 TOPS(GPU)和6核ARM CPU。下面是RVC4与Jetson Orin Nano 8GB的1:1对比,两者都使用INT8精度和相同的图像形状:
模型名称RVC4 [FPS]Jetson Orin Nano 8GB [FPS]
InceptionV4, BS1691170
InceptionV4, BS32608358
ResNet50, BS11369502
ResNet50, BS3216441191
VGG19, BS1269183
VGG19, BS32560362
超分辨率, BS136*202
SSD MobileNet V1, BS11910920
SSD MobileNet V1, BS3226882260
UNet 分割, BS1323142
YoloV3 Tiny, BS11342563
查看 Jetson 系列基准测试(底部),Nvidia报告了BS32模型(批处理大小32,即同时推理32张图像)的FPS。根据我们自己的测试,这些数字是真实的,但是,它们的 BS1模型(批处理大小1,即单张图像)的性能比BS32模型差约2倍。如果您想要实时性能(而不是+1秒延迟),您 将需要使用BS1模型。
  • 由于SoC是全新的,模型优化器仍在更新中,未来将添加更多层以在加速块上进行处理。对于超分辨率模型,有几层在CPU上处理。这就是RVC4性能较低的原因。

能源效率

我们还测量了RVC4和Jetson Orin Nano 8GB的功耗。我们让两台设备都以最大性能运行(RVC4为最大FPS), 并测量了整个板的功耗。Orin Nano的功耗波动很大,因此我们取了10秒内功耗的平均值。 我们总是使用批处理大小为1的模型(即单张图像)。
模型名称RVC4 [W]Jetson Orin Nano 8GB [W]
InceptionV49.112
ResNet5010.213
VGG199.511
YoloV3 Tiny9.910
YoloV5 M (416x416)9.311
结论:RVC4在速度快1.9倍的同时,能效比Jetson Orin Nano 8GB高15%。

自定义应用

用户可以完全访问RVC4的强大功能:
  • 通过 Luxonis Hub 可以开箱即用地轻松开发和部署自定义容器化应用程序
  • 使用 Halide 在加速硬件块之上开发和运行快速CV管道
  • 与GPIO和通信接口交互
  • 由于RVC4也可以选择作为主机,因此可以连接其他基于 RVC2 的OAK(PoE)摄像头。

功耗

RVC4本身的峰值功耗约为25W,主要由集成在RVC4内部的SoC,高通QCS8550消耗。
  • 最大峰值:25W
  • 最大平均:10-15W
  • 平均空闲:1.6W
  • 启动峰值:12W
  • 启动平均:2.3W(约15秒)