发布说明
最后更新
DepthAI V3
- DepthAI
3.10.0 - DepthAI
3.9.0 - DepthAI
3.8.0 - DepthAI
3.7.1 - DepthAI
3.6.1 - DepthAI
3.5.0 - DepthAI
3.4.0 - DepthAI
3.3.0 - DepthAI
3.2.1 - DepthAI
3.1.0 - DepthAI
3.0.0 - DepthAIv3
rc4 - DepthAIv3
rc3 - DepthAIv3
rc2 - DepthAIv3
beta.1 - DepthAIv3
alpha.15 - DepthAIv3
alpha.14 - DepthAIv3
alpha.13 - DepthAIv3
alpha.12 - DepthAIv3
alpha.11 - DepthAIv3
alpha.10 - DepthAIv3
alpha.9 - DepthAIv3
alpha.8
DepthAI 3.10.0
3.10.0功能:[Beta]拼接节点- [RVC4] 对齐节点
- 消息
save和load函数- DepthAI 消息可以使用新 API 写入文件,然后读回:
msg.save("name.dai")和msg.load("name.dai")
- 保存的文件是二进制 protobuf 封装
- 支持以下消息:
ImgFrame、NNData、ImgDetections、SpatialImgDetections、SegmentationMask、PointCloudData、RGBDData、IMUData和ImgAnnotations
- DepthAI 消息可以使用新 API 写入文件,然后读回:
- [RVC4] ToF 去畸变
setOutputUndistortion允许您对 ToF 深度帧进行去畸变
- 外参现在包含
toDeviceId字段- 与
toCameraSocket结合使用,可在多设备设置中更好地处理转换 - 字段会自动填充创建消息的设备 ID,因为该设备是
toCameraSocket引用的设备
- 与
- [RVC2] LEON OS unwind 部分现在使用标准 .eh_frame 命名,因此链接器会清除过时的 unwind 记录
- [RVC2] VideoEncoder 检查参数一致性
- 未经验证的参数在渲染具有不正确参数的视频流时会导致显著的性能下降
- SpatialImgDetections 和 ImgDetections 的
getMaskData绑定现在返回一个通用的 py::object - 释放设备发现函数(例如
getAllConnectedDevices)的 GIL,因为它会导致正在运行的管道卡顿 - ImageManip 中的四点变换现在可以正确处理归一化坐标
- 当坐标归一化时,旋转现在可以正确应用于
addCropRotatedRect - 更严格的内参矩阵验证
- 当设备正在使用时,设备健康检查现在更加健壮
DetectionParser在验证步幅数量时,只考虑名称中包含_yolo的输出
- [RVC4] 优化了 NN 模型加载,RAM 占用减少了一半
- 添加了 DepthAI 专用的审阅者技能,以便更轻松地开发和更快的合并过程
- 嵌入式可视化工具更新到 3.9.6:
- 改进了性能和稳定性
- 从 OS 1.40.0 降级到 1.24.0 到 1.31.1 之间的任何 OS 版本都会导致 STM 闪存错误,从而在运行任何管道时导致设备崩溃。要解决此问题,请先降级到 OS 1.35.0
python3 -m pip install depthai==3.10.0DepthAI 3.9.0
3.9.0功能:- Beta 功能
- [RVC2] PoE 引导加载程序更新
- 嵌入式引导加载程序版本更新到 v0.0.29
- 通过修复可能导致 X_LINK_DEVICE_NOT_FOUND 错误的陈旧连接信息,大大提高了 RVC2 PoE 设备的发现能力
- 引导加载程序版本向后和向前兼容,并且独立于 DepthAI 版本
- 建议对频繁出现发现失败的设备更新可恢复的用户引导加载程序。为了完全集成,我们建议刷写工厂引导加载程序。
- 以下三种刷写路径可用:
- 对于 GUI 体验,请使用 device_manager.py。更新功能可在
danger zone部分访问 - 使用提供的 flash_network_bootloader.py 脚本。默认情况下,脚本刷写用户引导加载程序;使用
-f标志启用工厂刷写 - 使用 CLI 命令
depthai --flash <device_ip>。默认情况下,命令刷写用户引导加载程序;使用-f标志启用工厂刷写
- 对于 GUI 体验,请使用 device_manager.py。更新功能可在
- 有关更多信息,请遵循我们文档中的教程
- [RVC4] 图像去畸变的 Alpha 参数
- StereoDepth 节点现在在 RVC4 上正确处理去畸变的 alpha 缩放
- 相机输出请求现在接受可选的 alphaScaling 值,用于控制裁剪和保留完整视野之间的平衡
- 深度着色实用程序
- 在 C++ 中添加了 dai::utility::colorizeDepthFrame,在 Python 中添加了 dai.utility.colorizeDepthFrame
- 支持 ImgFrame、OpenCV 矩阵、可配置的深度范围和颜色映射,以及对数或线性缩放
- 可以自动从有效深度像素派生可视化边界,并将无效像素渲染为黑色
- [RVC4] VideoEncoder 改进
- 改进了 4000 x 3000 H.264、H.265 和 MJPEG 编码的延迟
- 修复了
setKeyframeFrequency在 RVC4 上无效的问题
- [RVC4] 480 FPS 模式
- 修复了 3.7.1 中的回归问题,其中 ImageManip 池大小太小,无法正确支持 480 FPS HFR 模式
- ImageManip 现在可以在帧不足时增加其输出池
- 添加了 setMaxPoolSize 以限制最大输出池大小
- [RVC2] 为 DOT 和 FLOOD 投影仪添加了总功率限制,以避免 RVC2 ToF 63D 传感器上的功率复位
- [RVC2] 当深度输入未对齐时,SpatialLocationCalculator 现在可以正确重新映射感兴趣区域
- 修复了 YOLOv6 和 YOLOv6-R1 解码,包括基于步幅的框重建和置信度处理
- 整流现在使用其输入帧携带的变换,并在这些变换更改时重新初始化
- 修复了 ImageManip 四点变换未考虑归一化坐标的问题
- 修复了 ToF 示例中的着色闪烁和不一致的帧速率
- ReplayVideo 现在在 FFmpeg 无法打开视频时报告运行时错误,而不是依赖断言
Command Line
1python3 -m pip install depthai==3.9.0DepthAI 3.8.0
3.8.0功能:- Depth 节点
- 设备健康检查
- ToF 节点更新
- [RVC4]
ImageManip的默认 GPU 后端- 与 CPU 后端相比,提高了性能并降低了功耗
- 支持图像去畸变
- [RVC4] 添加了对 OAK4 Lite 和 OAK4 Lite ToF 的支持
- 识别 OAK4 Lite 设备
- STMicro VD55H1 ToF 传感器驱动程序和处理
- 添加对 YOLOv12 的支持
- [RVC4] 为
NeuralDepth添加了最小和最大范围过滤 - [RVC4] 为所有消息添加了 Unix 系统时间戳
- [RVC4] 将闪存的 CBA 校准与设备 EEPROM 校准合并
- 对于每个插槽,如果可用,优先使用设备 EEPROM 校准;否则,使用闪存到 CBA EEPROM 的校准
- 使用校准数据闪存选定的 CBA EEPROM
- 添加多传感器动态校准
- 在多个传感器之间执行动态校准
- 嵌入式 Visualizer 更新到 3.5.2:
- 提高了高 FPS 的性能
- 改进了点云可视化
- 支持
Segmentation消息的可视化 - 支持
ImgDetections中的实例分割可视化
- 函数参数清理:
- 按值传递然后克隆的函数参数现在按引用传递
- 非变异函数现在是
const
DetectionParser现在可以通过setNNArchiveHead或通过build函数设置,并将头部作为参数传递SegmentationParser现在可以通过setNNArchive或setNNArchiveHead设置- 使用
setAutoExposureMaxISO控制相机的自动曝光最大 ISO - 遥测:
- 支持动态校准和自动校准
- 添加了速率限制
- [RVC2] 设置 63D ToF 传感器的 FSync 延迟
specTranslation向量现在在所有消息的ImgTransformations中设置- 检查
Replay节点中输入文件是否存在 - [RVC4] 修复了
Camera节点在队列满时而不是在同一输出的所有队列上丢弃消息的问题 - [RVC4] PointCloud 节点使用校准的平移向量而不是 spec 平移向量
- [RVC2] 修复了 63D ToF 传感器的相位旋转
- [RVC2] 修复了 Python 绑定中
Point2f和Size2f的不正确参数名称 - [RVC2] 如果闪存校准中的插槽数量与连接的相机插槽数量不匹配,FFC-4P 现在会记录警告
Command Line
1python3 -m pip install depthai==3.8.0DepthAI 3.7.1
3.7.1功能:- [RVC4] 新的 GPUStereo 节点
- [RVC4] 将 GPU 后端添加到
ImageManip- 与 CPU 后端相比,提高了性能并降低了功耗
- 从
v3.8.0开始,这将是 RVC4 上的默认后端
- 嵌入式 Visualizer 更新到 2.5.3:
- 改进了管道调试窗格
- 为消息添加
Transformable接口,以便轻松地从一个坐标系重新映射到另一个坐标系- 作为
transformedMessage = message.transformTo(dai.ImgTransformations)公开 - 支持的消息:
dai.ImgDetections、dai.SpatialImgDetections、dai.AprilTags、dai.Tracklets、dai.SegmentationMask
- 作为
- 添加遥测以帮助我们了解库的使用方式,以便我们改进它
- 要选择退出,请在环境中设置
DEPTHAI_TELEMETRY=0
- 要选择退出,请在环境中设置
- 添加对 AutoCalibration 的 640x400 输入的支持,使更多设备可以开箱即用地进行校准
- [RVC4] 在
NeuralNetwork节点中添加对 INT16 输入的支持 - [RVC4] 在可用时将传感器温度元数据添加到
ImgFrame - [RVC2] 添加对新的 Samsung 63D ToF 传感器的支持
- [RVC2] 添加对 CBA 校准读取和闪存的支持
- [RVC4] 统一 RVC2 和 RVC4 之间的色温行为
- [RVC4] VPP 和神经辅助立体声现在可以以 50 FPS @ 1280x800 运行,比以前的 27 FPS 有所改进
- [RVC4] 统一 RVC4 IMU 输出以匹配 RVC2,永不重复数据包
- 修复了 Windows 上 USB 设备在另一个线程中运行发现时可能无法启动的罕见问题
- 提高了
MessageQueue上.getAnyAPI 的稳定性 - [RVC2] 修复了 BNO086 上磁力计和旋转矢量方向的回归问题
- [RVC4] 修复了 IMU 时间戳随时间漂移的问题
Command Line
1python3 -m pip install depthai==3.7.1DepthAI 3.6.1
3.6.1功能- AutoCalibration 现在默认开启,可以通过
DEPTHAI_AUTOCALIBRATION=OFF关闭 - 添加对 IMU 校准的支持,并统一输出,每个传感器现在都有
RAWUNCALIBRATEDCALIBRATED- 重要提示:
RAW以前是预旋转到 RDF 坐标系的,但现在已更改为始终直接从 IMU 捕获。要保持以前的行为,请切换到UNCALIBRATED输出。
- 重要提示:
- 添加外参跟踪到 ImgTransformations,以及用于在图像之间重新映射和投影点的实用程序
- 添加 YOLO26 支持到 DetectionParser
- 添加对新 NeuralDepth 模型支持
- 现有模型,FPS 改进
- LARGE (768x480) 从 10 FPS 到 22
- MEDIUM (576x360) 从 26 FPS 到 38
- SMALL (480x300) 从 42 FPS 到 56
- NANO (384x240) 从 60 FPS 到 85
- 新增模型:
- 1248x780 @ 8.5 FPS
- 1056x660 @ 12.5 FPS
- 960x600 @ 14 FPS
- 864x540 @ 18 FPS
- 现有模型,FPS 改进
- 添加新的 PointCloud 节点,支持选择自定义坐标系
- 改进 Holistic 记录和回放支持
- 记录和回放设备校准
- 记录和模拟设备功能(
device.getConnectedCameraFeatures()、device.getConnectedIMU()) - 自动同步录制以实现更可靠的流播放,当它们需要同步时
- 录制脚本在此,回放时,使用
DEPTHAI_REPLAY={录制路径},无需更改脚本。
- 嵌入式 Visualizer 更新到 2.3.3:
- 改进了管道调试窗格
- 小 UI 修复
- 改进了设备连接稳定性
- 改进自动 Camera 传感器配置选择和 FPS 选择
- 当完整分辨率配置无法满足请求输出的要求时,回退到裁剪配置
- 自动将无法与其它相机 FSync 的相机置于自由运行模式
- 正确跟踪裁剪传感器配置的内参
- 注意,在 RVC4 上,需要 LuxonisOS 1.31 或更高版本
- 改进 ObjectTracker,支持 3D 可选关联,并为
dai.Tracklet添加速度属性 - [RVC4] 在 RVC4 上添加对 PTP 相机同步的支持
- 为 StereoDepth 添加
LEFT和RIGHT对齐,并在 RVC4 上正确遵守RECTIFIED_LEFT和RECTIFIED_RIGHT - [RVC2] 添加对 IMX380 的支持
- [RVC4] 如果可用,使用
SNPE 2.41.0.251128作为 NeuralNetwork 引擎 - 如果模型包含分割掩码,则自动将 DetectionParser 切换到在 RVC2 主机上运行
- 添加对
MessageDemux在主机上运行的支持
Command Line
1python3 -m pip install depthai==3.6.1DepthAI 3.5.0
3.5.0功能:- 添加 AutoCalibration 节点,自动执行动态校准
- 合并
v2.32.0以及 RVC2 在崩溃转储收集和设备状态检索方面的改进
- 在开启去畸变时,将旧版校准上的跟踪去畸变系数设置为 0
- 添加
eventManager.waitForPendingUploads()以避免丢失在脚本退出时等待队列中的快照和事件 - 扩展稳定性测试以包括
NeuralAssistedStereo、FeatureTracker和ObjectTracker
Command Line
1python3 -m pip install depthai==3.5.0DepthAI 3.4.0
3.4.0功能:- 添加对语义分割的支持
- 添加对在 SpatialLocationCalculator 中摄取实例分割的支持,以改进 3D 检测
- 添加对将关键点空间化为 3D 的支持
- [RVC4] 添加对 USB 协议的支持
- 需要 LuxonisOS 1.27.1 或更高版本
- 可以在环境中通过
DEPTHAI_PROTOCOL=usb强制使用
- 添加
isp输出到 Camera 节点 - 添加 Gate 节点
- [RVC4] 添加对 IMX586 上的 **HFR(高帧率)**支持:
- 添加对 XLink 数据包化的支持
- 可选地通过 XLink 数据包化发送的消息,并限制每个连接的比特率
- 在高级场景中很有用,允许具有大消息的流在后台运行
- 用法示例
- Visualizer 更新到 2.0.10
- 当设置
DEPTHAI_PIPELINE_DEBUGGING=ON时,支持实时管道可视化 - 显示
ImgDetections时可视化关键点 - 自动将检测和注释重新映射到目标流
- 当设置
- 添加新的
CalibrationMetrics输出到 DynamicCalibration 节点 - 添加对 Snaps & Events 回调的支持,以便在事件发送到 Hub 时收到通知示例
- [RVC4] 添加对外部 FSync的支持
- [RVC2] 添加对每个传感器设置自定义传感器调优的支持
- [RVC2] 添加对在 Camera 节点中设置传感器方向的支持
- 修复
dai::Pipeline复制赋值给另一个变量时的所有权问题 - 修复
StereoDepth的回放问题,当ImgTransformations未设置时
- 弃用不带
pipeline.create创建节点的方式 - 将 basalt 设为私有依赖而不是公共依赖
- ImageAlign:
- 如果将畸变图像发送到
ImageAlign的alignTo,则发出警告 - 使用
ImgTransformations获取内参和畸变系数,而不是依赖启发式和全局校准
- 如果将畸变图像发送到
- [RVC4] 添加对 DeviceManager 中 RVC4 设备的支持
- [RVC2] 在 Script 节点绑定中为
ImgDetections添加新字段
Command Line
1python3 -m pip install depthai==3.4.0DepthAI 3.3.0
3.3.0功能- 添加 管道调试 支持
- 更多详细信息可在 README 中找到
- 管道图可以使用 depthai_pipeline_graph 进行可视化
- C++ 示例在此,Python 示例在此
- 添加 NeuralAssistedStereo 节点(经典立体声 + 神经深度融合)
- 添加 VPP 节点和配置 API
- 公开 XLinkBridges
- 添加 Housing 校准 支持到
CalibrationHandler - [RVC4] 添加 SystemLogger 节点和扩展的 SystemInformation 指标
- [RVC4] 更新 RVC4 上的
StereoDepth预设,改进了质量/填充率权衡
- 修复 SSD 解析器回归并添加
labelName支持到关键点/检测 - 修复使用
Record节点以 H264 编码录制长视频时文件损坏的问题 - [RVC4] 关闭 Nagle 算法以避免 Windows 上的延迟峰值
- [RVC4] 修复 StereoDepth 节点中更改左右输入帧的竞争条件
- [RVC4] 修复自定义 RVC4 板的相机映射
- [RVC2] 修复 MessageGroup 缓存一致性的边缘情况
- [RVC2] 移除 SpatialDetectionNetwork 中输入图像旋转时的误报警告
- 添加二进制服务支持到
RemoteConnection和可配置的回调线程数 - 添加调整大小模式到
NeuralNetwork、DetectionNetwork和SpatialDetectionNetwork节点的构建方法 - 添加对
ImgFrame.setCvFrame()中更多帧类型的支持 - [RVC4] 添加对手动白平衡的支持
- [RVC4] 管道停止时关闭点投影仪
- [RVC4] 添加时间滤波器到 NeuralDepth 节点
Command Line
1python3 -m pip install depthai==3.3.0DepthAI 3.2.1
3.2.1功能- 使用实例分割和关键点解析扩展
DetectionParser和ImgDetections消息 - 添加对新 Snaps&Events API 的支持:
- [RVC4] 添加 NeuralDepth 节点,支持在设备上运行的神经深度
- [RVC4] DepthAI 运行时将前置 LED 切换为绿色
- [RVC2] 添加 IMX577 传感器的调优,移除之前存在的蓝色色调
- 修复 MacOS 上 IPv4LL 发现的边缘情况
- [RVC4] 修复 RVC4 上 Camera 节点和 StereoDepth 启用扩展模式时发生的少量内存泄漏
- [RVC2] 修复 IMU 阻止设备重启的罕见问题
- [RVC2] 修复 ToF 校准,该校准导致帧中间的读数出现轻微波动
- [RVC4] 修复 IMX586 仅在 4000×3000 传感器配置 @30 FPS 下工作的回归问题
- 添加 C++ 在此 和 Python 在此 的 HDR 示例
- 为
RemoteConnection添加优先级实现,以优先处理元数据而不是原始帧 - 在
RemoteConnection上公开一个嵌入式 RPC,名为libraryVersion,它返回 DepthAI 版本 - 嵌入式可视化工具从
0.12.33更新到1.5.40 - 停止将 NeuralNetwork 模型提取到临时目录以减少磁盘使用
- [Python] 移除 MacOS 上
CVSliderCVWindow的重复符号警告,当库与cv2一起使用时 - [Python] 添加对 Python3.14 的支持并移除 Python3.8
- [RVC4] 添加对闪存和读取外壳校准的支持
- [RVC4] 重构 Camera 堆栈,改进了启动和重启的稳定性
- 提高了多日运行的稳定性
- 解决了相机卡住无法流式传输的罕见情况,这需要设备重启
- [RVC4] 处理 LuxonisOS 1.21.0 中将出现的时间戳更改
- [RVC4] 添加
device.getProcessMemoryUsage(),返回depthai-device进程的内存使用情况 - [RVC2] 在 Python 绑定中为 Script 节点添加
setTransformation的绑定 - [RVC2] 允许 DynamicCalibration 在旧版校准且禁用去畸变的设备上运行
- [RVC2] 自动确定池大小,以允许 IMX582 上的高分辨率帧无需显式更改即可运行
- [RVC2] 改进了 IMX582 的 HDR 处理
- 将 FPS 限制为 10
Command Line
1python3 -m pip install depthai==3.2.1DepthAI 3.1.0
3.1.0功能- 自动选择 Camera 节点中的池数量
- 提高了 OAK1-Max 在高分辨率下的性能
- 在 RVC4 上的 AE 中实现最大曝光上限
- 需要 Luxonis OS v1.19.1
- 为
PointCloudData消息添加设置器
- 解决 MacOS 弱虚表问题,导致新
DynamicCalibration节点中出现死锁 - 在 RVC2 USB 设备发现期间尽早开启看门狗,以避免软砖设备,并处理设备进入该状态以在下次启动时恢复的情况
- 修复 Linux 容器内 RVC2 设备的使用问题,因为缺少 udev 支持
- 修复 RVC4 上请求
NV12类型时色度平面的去畸变问题 - 在 RVC4 上,如果深度未与 RGB 对齐,则在 SpatialDetectionNetwork 中使用正确的
ImgTransformations - 修复 RVC2 上 IMU 停止销毁的罕见情况的稳定性问题
- 修复 RVC2 上 BNO08x IMU 的时间戳溢出错误
- 更新
zoo_helper二进制文件,改进错误处理 - 通过更积极的内联减少 Windows 上的符号数量
DynamicCalibration输入控制现在具有更短的 API,用于向节点发送命令- 为热帧添加内参元数据
- 更新使用
StereoDepth节点的示例,移除显式NV12类型请求以获得更好的性能 - 改进 RVC2 上 IMX678 的支持,改进黑电平校正,提高亮度和色彩准确性
- [Python 绑定] 为 Python wheel 添加显式
numpy要求 - [Python 绑定] 添加缺失的绑定以设置
StereoDepth节点上的滤波器顺序
Command Line
1python3 -m pip install depthai==3.1.0DepthAI 3.0.0
3.0.0DepthAI v3.0.0 版本发布我们很自豪地宣布 DepthAI 库的新主要版本现已脱离发布候选阶段,并作为 v3.0.0 正式发布!简化的 API: 我们简化并统一了 API,以降低入门门槛并使开发更加直观。现在,设置相机流、运行神经网络和构建空间管道等核心任务都通过更少的代码行进行了简化。我们删除了许多已弃用的函数并简化了节点构造函数,为新手和经验丰富的用户创建了一个更清晰、更一致、更易于使用的库。更新的节点: 我们重新审视了一些最基本的节点,使其功能更强大、更灵活。- Camera
- ImageManip
- RGBD:此节点使处理同步和对齐的颜色和深度数据变得容易。它具有自动创建模式,可自动构建所需的输入管道,提供即用型 RGBD 消息或彩色点云。
- VSLAM:我们已将 SLAM 和 VIO 添加为主机节点,从而实现高级空间 AI 应用程序。这些目前在 Linux 和 macOS 上可用,并且处于早期预览阶段。
- DynamicCalibration:此节点执行立体相机的动态校准,即使在设备承受高热和机械应力的情况下,也能实现准确的深度感知。
- 自动重新连接:如果设备连接不稳定并崩溃,库现在将自动尝试重新连接而不是退出,使您的应用程序更具弹性。
- 统一坐标系:我们已标准化所有坐标系。相机、IMU 和空间数据现在使用 RDF(右-下-前)约定,消除了融合来自多个传感器的数据时出现的不一致。
- 原生模型动物园支持:利用新的 Luxonis 模型动物园,它原生集成到 v3 中。加载和部署模型现在无缝进行,无需样板代码。
- 在不同帧之间重新映射点:我们极大地改进了开发人员体验,其中管道中一个图像(例如 NN 的输入)中的检测需要重新映射到管道中另一个图像,该图像仍处于全分辨率,通过内部跟踪应用于流的所有图像操作。请参阅 Python 和 C++ 示例。
- 在 RVC4 上的 Luxonis OS 的发布版本中,相机堆栈可能会陷入不良状态,导致相机无法重新开始流式传输,需要重新启动设备。建议使用
-debug版本的 OS,直到此问题解决。
- DynamicCalibration 节点
- 添加对新版 OAK-Thermal (R8) 的支持
- 添加
ImageAlign的主机实现,从而在部分在主机上运行的管道中实现更高的 FPS - 在 README.md 中添加 depthai-core-example 项目参考
- 添加
ImgTransformations跟踪到ObjectTracker
- 修复 RVC2 上设备部分校准时崩溃的问题
- 修复 OAK-D[-Pro]-Wides 在小分辨率下出现粉色流的问题,该问题与 OV9728 传感器有关
- 修复回放的回归问题,该问题导致第一组帧无效
- 修复 RVC2 上 IMU 旋转矢量的旋转问题
- 修复 RVC4 Camera 在没有校准的情况下无法流式传输的问题
- 修复 RVC4 上 ImageAlign 的罕见启动错误,其中 DSP 未能加载所需的模块
- 修复 RVC4 上 ImageManip 节点在调整大小到所需分辨率时失败的边缘情况
- 添加一种在 RVC4 上使用
.setSensorType()设置 Camera 节点上的传感器类型(彩色/单色)的方法- 允许快速切换和测试 OV9[2/7]82 传感器
- 改进 RVC2 上的 ToF 解码性能,以允许 30 FPS 解码
- 在没有校准的情况下为单个源流添加 ImgTransformations 跟踪
- 添加
CalibrationHandler的测试 - 将 Python 实用程序移动到存储库的根目录
- 为 OAK4-S 添加测试标签,并在 CI 上为 OAK4-S 运行测试
- 合并 Python wheel(每个架构的所有 Python 版本合并到一个 wheel 中),以减小 PyPi 上的大小
- 改进 Python 绑定对中断的响应能力
- 改进 ToF 节点和示例的性能;它们现在以 30 FPS 运行
Command Line
1python3 -m pip install depthai==3.0.0DepthAI 3.0.0rc4
3.0.0-rc4功能:- 在 RVC4 上添加了 ObjectTracker 节点,也可以作为主机节点运行。
- 基于 OC-Sort 算法
- 与 RVC2 实现相比,性能有所提高
- 示例
- 添加了对 RVC4 上运行时校准更改的支持
- 支持 RVC4 上 Camera 节点中的去畸变输出
- 添加了 ToF 滤波
- 大大减少了噪声并提高了质量
- ToF 节点默认启用滤波
- 滤波目前在主机上运行
- 滤波也可以与新的 ImageFilters 节点独立使用
- 修复了在 RVC2 上使用小于 640x400 分辨率的 OV9728 时强制使用单色传感器配置的问题
- 稳定了内部相机时钟和单调时钟同步
- 修复了 BasaltVIO 节点中 Camera->IMU 外参设置的问题
- 修复了 dai.Device 构造函数在设备在错误时间失去连接时可能无限期卡住的边缘情况,通过在内部添加超时
- 移除了 DetectionParser 上已弃用的 imageIn 输入,该输入已被 ImgTransformations 取代
- 当文件系统为只读时,跳过 Zoo 模型下载的文件锁定
- getCalibration 始终返回当前活动的校准,即使未通过 setCalibration 设置
- 更改了 RGBD 自动创建逻辑,以在 OAK-ToF 上使用 ToF 深度而不是立体深度。
- 添加了 ToF RGB 对齐示例
- 添加了 NeuralNetwork 节点的便捷 getNNArchive getter
- 在 Luxonis OS 1.6.0-debug、1.14.1-debug 和 1.15.0-debug 上集成测试
- 在 RVC4 上的 OS 发布版本中,相机堆栈可能会陷入不良状态,导致相机无法重新开始流式传输,需要重新启动
- 建议使用 -debug 版本的 OS,直到此问题解决
Command Line
1python3 -m pip install depthai==3.0.0rc4DepthAI 3.0.0rc3
3.0.0-rc3功能:- 优化了 RVC2 上的 XLink 内存使用,允许更大的管道而不会耗尽内存
- 添加了对最新版 OAK-ToF (R4) 的支持
- 修复了 ToF 解码溢出的边缘情况
- 修复了 RVC4 上 Stereo 节点中 DSP 后处理的回归问题
- 解决了 RVC4 上的相机时间戳漂移问题
CalibrationHandler.getCameraExtrinsics()回归问题通过翻转矩阵乘法顺序得到修复- 修复了 RVC4 上
LOW_POWER模式下 ImageManip 中可能存在的竞争条件
- 添加了 RVC2 上 Script 节点中
RotatedRect的缺失绑定 - 切换到 RVC4 平台上的 EEPROM 标准化访问
- 切换到
std::filesystem::path而不是dai::Path贯穿整个代码库 - 默认添加了唯一的输入名称,使多输入主机节点无需显式命名输入/输出即可工作
- 添加了 EdgeDetector 和 SystemLogger 的示例
- 为多进程使用添加了 Zoo 模型下载的文件系统锁
- 添加了对 Windows 上并行调试和发布构建的支持(以前由于 vcpkg 的限制)
- 在 Luxonis OS 1.2、1.6.0-debug 和 1.14.1-debug 上集成测试
- 在 RVC4 上的 OS 发布版本中,相机堆栈可能会陷入不良状态,导致相机无法重新开始流式传输,需要重新启动
- 建议使用 -debug 版本的 OS,直到此问题解决
Command Line
1python3 -m pip install depthai==3.0.0rc3DepthAI 3.0.0rc2
3.0.0-rc2新功能:- 将 IMU 输出预旋转到 RH 坐标系,因此从相机的角度来看,轴为:
- X 指向右
- Y 指向下方
- Z 指向前(从玻璃中伸出)
- 更新了依赖项以支持最新的编译器和 CMake 4
- 将 RVC2 上的 setCalibration 和 getCalibration 函数向前移植以支持动态校准
- 修复了 beta.1 中引入的 RVC4 上 ImageManip 节点的回归问题
- 修复了 Camera 调整器中的回归问题
- 在 Luxonis OS 1.2、1.6.0-debug 和 1.11.0-debug 上集成测试
- 在 RVC4 上的 OS 发布版本中,相机堆栈可能会陷入不良状态,导致相机无法重新开始流式传输,需要重新启动
- 建议使用 -debug 版本的 OS,直到此问题解决
Command Line
1python3 -m pip install depthai==3.0.0rc2DepthAI 3.0.0b1
3.0.0-beta.1新功能:- 添加了缺失的 C++ 以匹配 Python 示例
- 添加了对库的 C++ 集成的支持
- 在 RVC4 上为 ImageManip 添加了低功耗模式
- 降低了 OAK-D-Lite IMX214 的资源使用,大大改善了 v3 的 Lite 体验
- 在 RVC2 上为 Camera 节点添加了对非常小输出的支持
- 在 RVC4 上为 Camera 节点添加了对所有调整大小模式的支持(信箱、缩放、裁剪)
- 默认关闭 RVC4 上立体声传感器的亮度去噪,以提高 Stereo 性能
- 为 ImgDetections 和 SpatialImgDetections 添加了一个新字段 name
- 嵌入式可视化工具升级到 0.12.33
- 修复了 Windows 上 Visualizer 的嵌入式 FE 服务问题
- 显示管道图时不要将资产上传到 Visualizer
- 移除了 Yolo/Mobilenet 变体的 [Spatial]DetectionNetwork。
- ColorCamera 和 MonoCamera 已弃用
- ImageManipV2 已重命名为 ImageManip,旧的 ImageManip 已移除
- 移除了所有节点上已弃用的 initialConfig 替代方案
- [仅限 C++] - 适用节点上的 initialConfigs 现在由 std::shared_ptr 持有
- 空间节点现在以右手坐标系输出结果
- 在 Luxonis OS 1.2、1.6.0-debug 和 1.11.0-debug 上集成测试
- 在 RVC4 上的 OS 发布版本中,相机堆栈可能会陷入不良状态,导致相机无法重新开始流式传输,需要重新启动
- 建议使用 -debug 版本的 OS,直到此问题解决
Command Line
1python3 -m pip install --extra-index-url https://artifacts.luxonis.com/artifactory/luxonis-python-release-local/ depthai==3.0.0b1DepthAI 3.0.0a15
3.0.0-alpha.15- 新功能
- 完全支持 RVC4 上非相机源的 MJPEG 和 H26x 编码器。
- 添加了 RGBD 节点,具有彩色点云输出和组合 RGB-D 消息。
- 支持 autocreate 模式以自动对齐 RGB 和深度。
- 示例 ↗
- 整体记录和回放(早期访问)——将示例转换为记录/回放,无需更改源代码。
- 早期访问限制:设备能力模拟尚未实现;立体声或高级示例的回放必须在同一设备上运行。
- 示例 ↗
- 在设置模式下设备可发现性,并提供 setup.luxonis.com 的指导。
- RVC4 上 IMX586 的 HDR 支持。
- 适用于 OAK4-S;OAK4-D / OAK4-Pro 需要即将发布的 Luxonis OS 更新。
- 通过
camera.initialControl.setHdr(True)启用(运行时可配置)。
- RVC4 上 StereoDepth 算法(滤波器、LR 检查、视差到深度转换)的 DSP 实现。
- NeuralNetwork 节点现在将 ImgTransformations 复制到多输入模型中的附加输入,当只有一个输入定义它们时。
- 嵌入式可视化工具升级到 v0.9.20。
- 错误修复
- 防止在运行时向队列添加回调时出现死锁边缘情况。
- 修复 Windows 上
dai.ImgAnnotations转换错误。 - 解决 Camera 节点中去畸变的边缘情况。
‑debug OS 镜像。在 Luxonis OS 1.2, 1.4.1, 1.5 和 1.6‑debug 上进行了集成测试,但我们建议使用最新版本(1.6-debug)。您可以使用以下命令安装此 DepthAIv3 版本:Command Line
1python3 -m pip install --extra-index-url https://artifacts.luxonis.com/artifactory/luxonis-python-release-local/ depthai==3.0.0a15DepthAI 3.0.0a14
- 新功能:
- 错误修复:
- 修复了启动管道时有时发生的
CameraSocker not found问题
- 修复了启动管道时有时发生的
Command Line
1python3 -m pip install --extra-index-url https://artifacts.luxonis.com/artifactory/luxonis-python-release-local/ depthai==3.0.0a14DepthAI 3.0.0a13
- 新功能:
- RVC4 的初始 FeatureTracker 节点实现
- Warp 节点现在适用于 RVC4
- 为 StereoDepth 节点 RVC4 添加了功能:
- 将滤波分离到单独的线程中以提高吞吐量
- 默认关闭软件 LR 检查和软件阈值
- 现在以 60FPS 运行 800P(启用 LR 检查),55FPS 运行 LR 检查 + 扩展视差
- 错误修复:
- 修复了 Windows 上 ImageManip 节点在 RVC4 上的问题
- 修复了过度日志记录的问题
Command Line
1python3 -m pip install --extra-index-url https://artifacts.luxonis.com/artifactory/luxonis-python-release-local/ depthai==3.0.0a13DepthAI 3.0.0a12
- 新功能:
- RVC4 上的手动对焦支持
- RVC4 上的初始 IMU 支持
- 为 RVC2 和 RVC4 添加了 BenchmarkIn 和 BenchmarkOut 节点
- 为 RVC2 上的 Camera 节点添加了去畸变支持(RVC4 正在开发中)
- 改进了 RVC4 上多线程 NeuralNetwork 的实现。以前,多线程并不能提供更好的性能,而现在 NN 节点在与相同数量的线程一起运行时,其性能与
snpe-throughput-run匹配。
- 错误修复:
- 当从 RVC4 上的 ImageManip 请求不支持的颜色转换时,更详细地报错
- 避免 RVC4 上 NN 模型在内存中重复(现在可以在 RVC4 上运行 1.7GB 的 NN 模型)
Command Line
1python3 -m pip install --extra-index-url https://artifacts.luxonis.com/artifactory/luxonis-python-release-local/ depthai==3.0.0a12DepthAI 3.0.0a11
- 新功能:
- RVC2 和 RVC4 的崩溃转储收集
- v2.29.0 中的新立体声滤波器
- 在 RVC4 上为 Script 节点添加了
.io输入/输出映射以匹配 RVC2 的旧版 API
- 错误修复:
- 修复
ImageManip:调整大小错误 1 像素,修复图像重用操作 - 修复导致设备/管道销毁时死锁的多个 GIL 问题
- 修复
Command Line
1python3 -m pip install --extra-index-url https://artifacts.luxonis.com/artifactory/luxonis-python-release-local/ depthai==3.0.0a11DepthAI 3.0.0a10
- 错误修复:
- 修复 manylinux wheel
- 修复 OAK4-D 早期运行的校准问题,该问题缺少 RGB 相机的外参并移除了循环连接
- 修复向单个队列添加多个回调的情况
DepthAI 3.0.0a9
Linux 上的错误
Linux wheel 仅适用于 Python3.12。如果您使用的是 Linux,请使用 Python3.12 或使用下一个版本中的新 wheel。
- 新功能:
- RVC4 上的 ImageAlign 节点
- 添加可覆盖的 getVisualizationMessage 函数到消息,以便能够为自定义解析器等绑定每个消息的可视化
- 改进了 CalibrationHandler 中的处理,现在可以检测循环外参。
- 将 NNArchiveConfig 定义更新到最新版本,并遵守新的 daiType 字段(如果已设置)。
- 为所有平台添加了 Python3.13 wheel。
- 更新了嵌入式可视化工具
- 错误修复:
- 修复 RVC4 上多输入 NN 的直通输出
- 修复 RVC2、RVC4 和主机上 ImageManip 设置输出大小的问题
- 修复 RVC2 上 ImageManip 运行时配置更改的问题
- 杂项:
- 添加了
dai.Point2f构造函数中缺失的绑定,该构造函数具有显式归一化标志 - 对于 RVC4 alpha.9,在 Luxonis OS 0.25 上进行了集成测试,但预计在 0.26 和 1.0 上也能正常运行。
- 添加了
DepthAI 3.0.0a8
- 新功能:
dai.RemoteConnection中添加了自定义 RPC- 解除了 RVC4 上主机到设备桥接的消息大小限制,几乎无限
- Wheel 大小减少了约 50%
- 支持 RVC4 上的精细 FPS(需要 OS 0.25)
- OV9282:3.0 - 60.0 FPS
- IMX586:2.0 - 30.0 FPS
- 支持 Luxonis OS 0.25 及更高版本
- 错误修复:
- 修复了 RVC4 上使用
NNData的组合多输入支持
- 修复了 RVC4 上使用
- 杂项:
- 移除了 Hunter,并替换为
vcpkg
- 移除了 Hunter,并替换为
DepthAI V2
- DepthAI 2.33.0
- DepthAI 2.32.0
- DepthAI 2.31.1
- DepthAI 2.31.0
- DepthAI 2.30.0
- DepthAI 2.29.0
- DepthAI 2.28.0
- DepthAI 2.27.0
- DepthAI 2.26.0
DepthAI 2.33.0
- 添加了对三星 63D ToF 传感器的支持。
- 引导加载程序更新到 v0.29。
Command Line
1python3 -m pip install depthai==2.33.0DepthAI 2.32.0
- 添加
device.getState函数,该函数在运行时返回设备的固件状态 - 添加
setProcessor函数以选择 Sync 和 Demux 节点的处理器
- 扩展固件中的崩溃转储数据,提供更多关于导致崩溃的上下文信息
DepthAI 2.31.1
- 修复
MessageGroup消息中难以触发的缓存一致性错误 - 移除 OV9[2/7]82 传感器在明亮场景和低曝光时间下的固定模式噪声
DepthAI 2.31.0
- 添加 IMX577 传感器的调优,移除之前存在的蓝色色调
- 改进 RVC2 上 IMX678 的支持,改进黑电平校正,提高亮度和色彩准确性 新设备支持
- 添加对新版 OAK-Thermal (R8) 的支持
- 添加对 OAK-ToF (R4) 的支持
- 添加对新版 OAK-D-S2-[Pro]-Wide OV9728 变体 (R8) 的支持 错误修复和稳定性
- 修复 IMU 阻止设备重启的罕见问题
- 修复 BNO08x IMU 上的时间戳溢出错误
- 修复
dai.Device构造函数在设备在错误时间失去连接时可能无限期卡住的边缘情况,通过在内部添加超时 - 在 RVC2 USB 设备发现期间尽早开启看门狗,以避免软砖设备,并处理设备进入该状态以在下次启动时恢复的情况
- 当设置
DEPTHAI_CRASHDUMP=0时,完全禁用崩溃转储提取 杂项 - 添加对
ObjectTracker节点中显式移除跟踪的支持 - 通过在固件中添加软件看门狗,将最大看门狗频率从 4.5 秒限制到无限(“无穷大”)
DepthAI 2.30
- 添加 OAK4/RVC4 发现,将抛出警告,提示用户应使用 DepthAI v3
- 添加对新 VCM 的支持,在新 IMX378 CCM 上启用自动对焦 错误修复
- 修复 ImageManip 中的边缘情况,以修复在边缘模式下运行的 geaxgx/depthai_hand_tracker
- 修复从主机向设备发送 MessageGroup 时发送超过 4 条消息的边缘情况
- 修复独立日志记录导致内存泄漏的错误
DepthAI 2.29
- 添加了使用新的
dai::Device.setCalibration()方法在运行时更改设备校准的功能,并使用dai::Device.getCalibration()检索它。 - 新的
StereoDepth预设:DEFAULTFACEHIGH_DETAILROBOTICS
- 多相机改进(更多详细信息请参阅 https://github.com/luxonis/depthai-core/pull/972):
- 在选择低于原生分辨率时公开更多下采样模式
- 在 IMX582/586 上选择 binning 时公开更多 binning 模式(
sum和avg) - IMX582/586 上的 HDR
- 绕过 3A 的选项,以便手动曝光/ISO 更快生效
- 对新索尼 4K Stravis 传感器:IMX678 和 IMX715 的初步支持
- 在多相机配置中设置主相机以驱动自动曝光和自动白平衡的选项
- 改进了 StereoDepth 滤波和使用自定义滤波器顺序的选项
- 视差首先缩放到 13 位,然后通过滤波,这使得滤波器更有效。
- 移除设备销毁时发生的崩溃的虚假报告
- 为
EncodedFrame添加getWidth()和getHeight()API
DepthAI 2.28.0
- 更改了自动崩溃转储收集,除非设置了
DEPTHAI_DISABLE_CRASHDUMP_COLLECTION,否则始终开启。 - 添加了
DEPTHAI_ENABLE_ANALYTICS_COLLECTION环境变量 - 设置后,分析数据(仅管道架构)将发送到 Luxonis,用于进一步改进库。 - 默认情况下对 ToF 的两个输出进行去畸变。
- 改进了 OAK-D-LR 上的 3A 同步。
- 添加了对 YoloV10 的支持。
- 修复
Camera节点以正确分配去畸变资源。 - 修复
StereoDepth节点在使用抽取滤波器和深度对齐时的问题。 - 修复 OAK-T 上的主机时间戳以正确同步。
- 更新了 XLink 以支持 Windows 上的 clangd 和共享库。
- 移除了自定义断言,始终生成崩溃转储,以改善自动崩溃转储收集的用户体验。
- 提高了设备端看门狗的优先级,以提高高负载下的稳定性。
DepthAI 2.27.0
- 当设置
DEPTHAI_ENABLE_FEEDBACK_CRASHDUMP时,自动收集崩溃转储
- 修复
ImageAlign节点输出深度时PointCloud生成的问题 - 修复 IMX214 (OAK Lite) 在使用更复杂管道初始化时可能发生的崩溃
- 修复相机流在 1 秒后关闭且 AF 正在运行时发生的罕见崩溃问题
- 添加对 numpy 2 的支持
DepthAI 2.26.0
- ImageAlign 节点
- 它可以将深度与设备上的任何其他传感器对齐 - 也适用于 ToF。
- 它可以将两个传感器与静态深度(默认在无穷远处)对齐,这对于热-RGB 对齐很有用
- Cast 节点
- 将
NNData消息转换为ImgFrame - 在应用程序需要使用
NeuralNetwork节点的输出以馈送到仅接受ImgFrame的节点时很有用
- 将
- 完整的 ToF 支持
- 以 30 FPS 实时运行
- 测量范围为 20 厘米 - 6 米
- 整个范围内的误差 < 1%
- 空间节点中 ToF 的支持
- 通过
XLink setXLinkRateLimit(int maxRateBytesPerSecond, int burstSize, int delayUs)限制带宽的选项
- 改进了 PoE 重启时的稳定性 - 消除了有时需要对设备进行断电重启的情况
- 通过提高 NoC 中相机的优先级,改进了重负载下管道的运行时稳定性
- 改进了 ImageManip 稳定性
- 改进了 XLink 通信,能够检测内存损坏并避免它
- 修复了当校准数据不包含两个输入之间的直接链接时,立体校正不准确的错误
- 与 FFC 设备上的自定义设置相关
- 改进了校正算法的数值稳定性
- 提高了广角 FOV 传感器上的立体质量
- 为存根添加文档字符串 - 现在默认在 vscode 中显示文档
- 修复存根/自动完成以正确使用
dai.Device() as device - 修复存根/自动完成以在
getCvFrame函数中返回正确的类型。