DepthAI 示例
最后更新
AprilTags
- AprilTags - 在 1080P 摄像头流上运行 AprilTag 标记检测。
- AprilTags 12MP - 在 12MP 摄像头流上运行 AprilTag 标记检测。
- AprilTags on image replay - 在图像回放上运行 AprilTag 标记检测。
基准测试
- Benchmark Simple - 测量管道的延迟。
- Benchmark Camera - 测量摄像头流的 FPS 和延迟。
- Benchmark NN - 测量神经网络模型的 FPS 和延迟。
Beta 功能
- Beta Features - 在公共 API 最终确定之前探索实验性的 DepthAI 节点和功能。
相机
- Display all cameras - 显示所有可用相机传感器的最高分辨率流。
- Camera output - 从默认相机请求输出流并显示。
- Camera multiple outputs - 使用命令行参数从单个相机请求多个输出流。
- Camera raw output - 从相机获取原始图像数据并显示。
- Camera ROI-based exposure and focus - 根据用户选择的 ROI 设置自动曝光和自动对焦。
- Camera still image at max resolution - 以最大分辨率捕获静态图像。
- Camera video max resolution - 以最大分辨率流式传输视频。
- Camera high frame rate (HFR) - 以 240/480 FPS 运行 OAK4 IMX586 管道,包括神经推理和编码流示例。
- Camera Undistort - 使用固有参数对相机帧进行去畸变。
校准
- Calibration Dump - 导出设备校准数据。
- Calibration Load - 将自定义校准数据加载到设备。
- Calibration Flash - 将自定义校准数据刷入设备。
- Calibration Factory Reset - 恢复设备校准数据出厂设置。
深度
- Depth - 可视化 Depth 节点的深度和置信度;通过 CLI 练习
build()重载。
检测网络
- Detection network - 运行 YOLOv6n 对象检测模型并在视频流上显示结果(边界框)。
- Detection network remap - 运行 YOLOv6 对象检测模型并将边界框映射到深度帧。
- Detection network replay - 在回放视频流上运行 YOLOv6 对象检测模型,并在我们自定义的可视化工具中可视化检测结果。
事件
- Events - 在 DepthAI 中处理事件并设置回调。
特征跟踪器
- Feature tracker - 使用光流检测特征并在连续帧之间跟踪它们。
主机节点
- Display - 创建一个自定义主机节点,使用 OpenCV 显示帧。
- Host Camera - 创建一个自定义线程主机节点,用于从主机机器的摄像头捕获帧并将其发送到管道。
- Threaded Host Nodes - 创建自定义线程主机节点并将其链接。
图像对齐
- Depth Align - 对齐并融合 RGB 和深度帧。
图像处理
- ImageManip all operations - 演示各种图像处理操作,包括调整大小(拉伸/信箱/裁剪)、裁剪、翻转、缩放、旋转、仿射和透视变换以及帧类型转换。
- ImageManip multiple operations - 定义要应用于输入帧的一系列操作,所有操作都在单个 ImageManip 节点中。
- ImageManip resize - 调整帧大小并显示原始图像和调整大小后的图像。
- ImageManip remap - 使用 ImageManip 修改帧,并使用底层变换重新映射矩形以匹配修改后的帧。
IMU
- IMU accelerometer and gyroscope - 从 IMU 节点获取加速度计和陀螺仪数据
杂项
- Device Information - 打印设备信息,例如名称、序列号和固件版本。
- Health Check - 运行快速诊断,涵盖设备状态、连接类型、带宽、电源、校准、相机传感器、红外传感器和报告的问题。
- Auto Reconnect - 演示设置重新连接回调和设备上的有限重试尝试。
- Digital Zoom - 从全分辨率 RGB 流中裁剪并显示检测到的最大人物,并更新 AE/AF 区域以匹配裁剪。
- Projectors - 控制点投影仪和泛光照明器
- XLink Bridge - 访问和调整主机设备流的隐式 XLink 桥。
神经深度
- Neural Depth - 运行具有运行时配置控制的神经深度。
- Neural Depth Minimal - 基本神经深度视差可视化。
- Neural Depth Align - 将神经深度输出与 RGB 相机对齐。
- Neural Depth RGBD - 使用神经深度和 RGBD 节点生成点云。
神经网络
- Neural network - 创建一个带有相机和神经网络节点的简单管道。
- Neural network multi-input - 运行一个神经网络模型,该模型使用两个输入张量将相机帧与静态图像连接起来。
- Neural network multi-input combined - 运行一个神经网络模型,该模型将两个输入图像组合成一个输出图像。
对象跟踪器
- Object Tracker - 使用 YOLOv6 检测器和 ObjectTracker 节点跟踪 3D(毫米级 XYZ)中的对象。
- Object Tracker Replay - 在回放视频文件(或实时摄像头)上运行对象跟踪,显示跟踪 ID 和状态(无 XYZ)。
- Object Tracker Remap - 跟踪对象并使用变换元数据将边界框重新映射到深度帧上,以实现精确对齐。
立体深度
- Stereo Depth - 可视化立体相机的视差深度。
- GPUStereo - 在 RVC4 上运行 GPU 加速立体声并可视化视差输出。
- Neural Assisted Stereo - 将神经深度与经典立体深度融合。
- Stereo Depth Remap - 将视差深度 <frame> 的几何形状重新映射到彩色帧。
- Stereo Depth From Host - 使用主机上预校正的立体图像在设备上运行立体视差。
- Stereo Depth Filters - 对立体深度输出应用各种滤镜。
- Stereo Depth Calibration Update - 实时更新立体校准参数。
视频编码器
- Video Encode - 在设备上将视频帧编码为 MJPEG、H264 或 H265 视频编解码器并保存到文件。
扭曲
- Warp mesh - 使用 3x3 网格变换扭曲输入图像帧以创建透视失真效果。
模型库
- Model Zoo - 从模型库下载模型并解压。
录制回放
- Holistic Record - 录制整体管道数据。
- Holistic Replay - 回放录制的整体管道数据。
- Video Record - 录制视频流。
- Video Replay - 回放录制的视频流。
RGBD
- RGBD Point Cloud Visualization - 在三种不同的可视化工具中可视化彩色点云数据。
- RGBD Point Cloud Visualization (Autocreate) - 使用 autocreate 创建 RGBD 节点并可视化彩色点云数据。
脚本
- Script Simple - 可以说是最简单的脚本示例。
- Script Switch All Cameras - 在所有可用相机之间切换。
空间检测网络
- Spatial Detection - 运行带有空间(3D)坐标的对象检测
空间位置计算器
- Spatial Location Calculator - 计算指定点的 3D 空间坐标
同步
- Sync - 同步两个或更多数据流。
可视化工具
- Visualizer Encoded - 可视化编码流。
- Visualizer YOLO - 可视化 YOLO 检测。
- Custom Visualizations - 创建自定义可视化并将其添加到可视化工具。
- Custom Services - 定义自定义可视化工具服务和回调。
RVC2 特定示例
边缘检测器
- Edge Detector - 在 3 个不同的输入上检测边缘:左、右和 RGB 相机
NNArchive
- NN Archive Superblob - 从模型库下载 superblob 模型并运行它。
系统日志
- System Information - 显示设备系统信息(内存/CPU 使用率、温度)。
热成像
- Thermal - 显示热像仪馈送,并带有亮度和快门控制。
- Thermal Crosshair - 显示热像仪馈送,并使用十字线叠加在鼠标光标位置显示温度读数。
ToF
- ToF Minimal - 从 ToF 相机获取深度帧并使用色图将其可视化
- ToF All Queues - 显示所有主要的 ToF 输出队列(深度、幅度、强度,以及平台特定的 rawDepth/置信度)
- ToF Align - 将 ToF 深度对齐到单色相机并融合叠加层
- ToF PointCloud - 将彩色 ToF 点云流式传输到 DepthAI 可视化工具
VSLAM
- Basalt VIO - 使用立体相机和 IMU 估计设备运动的 VIO 示例。
- Basalt VIO RTAB-Map SLAM - VSLAM 示例