DepthAI ROS 驱动程序
最后更新
版本说明
此页面涵盖 ROS v3 驱动程序。
- Humble / Jazzy: ROS 包名使用
_v3后缀,例如depthai_ros_driver_v3和 Debian 包ros-$ROS_DISTRO-depthai-ros-v3。 - Kilted 及更高版本: v3 是默认驱动程序,因此包名没有后缀,例如
depthai_ros_driver和 Debian 包ros-$ROS_DISTRO-depthai-ros。
快速入门
经典安装
Kilted 及更高版本
Command Line
1sudo apt install ros-$ROS_DISTRO-depthai-rosCommand Line
1ros2 launch depthai_ros_driver driver.launch.pyCommand Line
1ros2 launch depthai_ros_driver driver.launch.py use_rviz:=trueCommand Line
1ros2 run depthai_ros_driver driver_nodeuse_rviz:=true 将适用于所有使用 driver.launch.py 的启动文件。预构建 Docker 镜像
Command Line
1xhost +local:dockerCommand Line
1docker run -it -v /dev/:/dev/ --privileged -e DISPLAY -v /tmp/.X11-unix:/tmp/.X11-unix luxonis/depthai-ros:kilted-latestCommand Line
1docker run -it -v /dev/:/dev/ --privileged -e DISPLAY -v /tmp/.X11-unix:/tmp/.X11-unix luxonis/depthai-ros:kilted-latest [CMD]Command Line
1docker run -it -v /dev/:/dev/ --privileged -e DISPLAY -v /tmp/.X11-unix:/tmp/.X11-unix luxonis/depthai-ros:v3.0.9-kiltedCommand Line
1docker run -it -v /dev/:/dev/ --privileged -e DISPLAY -v /tmp/.X11-unix:/tmp/.X11-unix luxonis/depthai-ros:kilted-arm64-latestCommand Line
1docker run -it -v /dev/:/dev/ --privileged -e DISPLAY -v /tmp/.X11-unix:/tmp/.X11-unix luxonis/depthai-ros:v3.0.9-kilted-arm64/home/YOUR_USERNAME_HERE/params/example_config.yaml),并将其作为参数传递给可执行文件,如下所示:Command Line
1docker run -it -v /dev/:/dev/ -v /home/YOUR_USERNAME_HERE/params:/params --network host --privileged -e DISPLAY -v /tmp/.X11-unix:/tmp/.X11-unix depthai-ros ros2 launch depthai_ros_driver driver.launch.py params_file:=/params/example_config.yaml参数
启动文件
driver.launch.py以 RGBD 模式启动摄像头,并以空间模式(使用 Yolo V6)启动 NN。rgbd_pcl.launch.py以基本 RGBD 配置启动摄像头,不加载任何 NN。还加载用于 RGBD 点云的 ROS 深度处理节点。example_multicam.launch.py同时启动多个摄像头,每个摄像头都在不同的容器中。编辑config目录中的multicam_example.yaml配置文件以更改参数(目前仅适用于 RVC2)。example_segmentation.launch.py以 RGBD + 语义分割模式启动摄像头(管道类型=RGBD,nn_type=rgb)。pointcloud.launch.py- 类似于rgbd_pcl.launch.py,但不使用 RGB 组件进行点云。请注意,这里的点云发布在不同的主题上。rtabmap.launch.py启动摄像头和 RTAB-MAP RGBD SLAM(您需要先安装它 -sudo apt install ros-$ROS_DISTRO-rtabmap-ros)。您可能需要在此处通过参数设置手动对焦。sr_rgbd_pcl.launch.py- 由于只有两个传感器,应作为 SR 摄像头的基线使用。sr_poe_rgbd_pcl.launch.py- 应作为 SR PoE 摄像头的基线使用。oak_t.launch.py- 专门用于 OAK-T 系列的启动文件。calibration.launch.py- 用于启动 ROS 校准工具,这主要用于测试,如果您发现您的摄像头校准无效,请使用我们的内部校准工具或直接联系我们。vio.launch.py- 默认启用 VIO 管道启动摄像头。
从外参发布 TF
- parent_frame: "oak_parent_frame"
- base_frame: "oak" (或节点名称)
oak_imu_frame。默认情况下,摄像头变换是根据设备的摄像头校准数据发布的。使用 driver.launch.py 时,您可以设置 pass_tf_args_as_params:=true,以便 TF 参数用于填充这些参数。例如 ros2 launch depthai_ros_driver driver.launch.py pass_tf_args_as_params:=true parent_frame:=map cam_pos_x:=1.0 imu_from_descr:=true还可以设置自定义 URDF 路径(目前只支持绝对路径)和自定义 xacro 参数,使用 driver.i_tf_custom_urdf_path 和 driver.i_tf_custom_xacro_args。请注意,robot_state_publisher 必须正在运行。外参说明
如果您的摄像头 IMU 未校准,将显示警告,并且 IMU 将以零旋转和平移发布。您可以通过设置
driver.i_tf_imu_from_descr: true 来覆盖此行为。这将根据摄像头模型从 URDF 发布默认 IMU 外参。自定义管道
dai_ros_plugins),在该包中创建一个可执行文件(dai_ros_plugins.cpp)。在该文件中,定义一个继承自 depthai_ros_driver::pipeline_gen::BasePipeline 并重写 createPipeline 方法的自定义插件。例如C++
1std::vector<std::unique_ptr<depthai_ros_driver::dai_nodes::BaseNode>> DaiRosPlugins::createPipeline(
2 std::shared_ptr<rclcpp::Node> node,
3 std::shared_ptr<dai::Device> device,
4 std::shared_ptr<dai::Pipeline> pipeline,
5 std::shared_ptr<depthai_ros_driver::param_handlers::PipelineGenParamHandler> ph,
6 const std::string& deviceName,
7 bool rsCompat,
8 const std::string& /*nnType*/) {
9 namespace dai_nodes = depthai_ros_driver::dai_nodes;
10 std::vector<std::unique_ptr<dai_nodes::BaseNode>> daiNodes;
11 auto left = std::make_unique<dai_nodes::SensorWrapper>("left", node, pipeline, deviceName, rsCompat, dai::CameraBoardSocket::CAM_B);
12 auto right = std::make_unique<dai_nodes::SensorWrapper>("right", node, pipeline, deviceName, rsCompat, dai::CameraBoardSocket::CAM_C);
13 daiNodes.push_back(std::move(left));
14 daiNodes.push_back(std::move(right));
15 return daiNodes;
16}C++
1#include <pluginlib/class_list_macros.hpp>
2
3PLUGINLIB_EXPORT_CLASS(dai_ros_plugins::DaiRosPlugins, depthai_ros_driver::pipeline_gen::BasePipeline)Xml
1<library path="dai_ros_plugins">
2 <class type="dai_ros_plugins::DaiRosPlugins" base_class_type="depthai_ros_driver::pipeline_gen::BasePipeline">
3 <description>这是一个方形插件。</description>
4 </class>
5</library>pipeline_gen.i_pipeline_type 设置为 test_plugins::Test。您可以在 我们的应用程序示例 中查看带有插件的最终包。特定摄像头配置
PoE 摄像头
subpixel 深度过滤被禁用。要启用低带宽,例如对于 RGB 摄像头,请更改参数:rgb.i_low_bandwidth-true以启用rgb.i_low_bandwidth_quality- 所需质量百分比(默认值-50) 有关所有流的示例参数,请参阅low_bandwidth.yaml文件。
ToF 摄像头
sr_poe_rgbd_pcl.launch.py。 这也利用了 OAK-D-SR 特有的管道配置,您可以在上面找到有关管道类型的更多信息。 请注意,目前 ToF 摄像头由于传感器插座命名约定而在 rgb 帧中发布图像。停止/启动摄像头以节省电量/重新配置
pipeline_gen.i_enable_diagnostics: true driver.i_restart_on_diagnostics_error: trueRealSense 兼容性
driver.launch.py 并带有 rs_compat:=true 参数来模拟 Realsense 摄像头的行为。 这将使用 RGBD 管道设置摄像头,并发布与 Realsense 摄像头兼容的主题。 TF 帧也将以 Realsense 格式提供。与 RS 节点的工作方式类似,您可以通过 pointcloud.enable:=true 参数启用点云发布。 请注意,驱动程序将以不同的名称和命名空间以及不同的 DAI 节点名称生成,因此您可能需要相应地调整您的配置文件。 命名约定如下:- 命名空间:
''->camera - 节点名称:
oak->camera rgb->colorstereo->depth- 'left' ->
infra_2 - 'right' ->
infra_1 - 帧
oak->camera_link
示例
Python
1# RealSense 驱动程序的示例包含
2rs_camera_launch_include = IncludeLaunchDescription(
3 PythonLaunchDescriptionSource([
4 PathJoinSubstitution([
5 FindPackageShare('realsense2_camera'),
6 'launch',
7 'rs_launch.py',
8 ])
9 ]),
10 launch_arguments={
11 'pointcloud.enable': true,
12 }.items()
13)Python
1# OAK 驱动程序的示例包含
2oak_driver_launch_include = IncludeLaunchDescription(
3 PythonLaunchDescriptionSource([
4 PathJoinSubstitution([
5 FindPackageShare('depthai_ros_driver'),
6 'launch',
7 'driver.launch.py',
8 ])
9 ]),
10 launch_arguments={
11 'rs_compat': true,
12 'pointcloud.enable': true,
13 }.items()
14)带有 RealSense 兼容性的 RTABMap 示例
rtabmap_ros 包中的一个示例,realsense_d435i_color.launch.py。注意 截至目前(2024-08-27),此示例需要根据 RS 主题名称进行调整,如下所示:之前
Python
1remappings=[
2('imu', '/imu/data'),
3('rgb/image', '/camera/color/image_raw'),
4('rgb/camera_info', '/camera/color/camera_info'),
5('depth/image', '/camera/realigned_depth_to_color/image_raw')]之后
Python
1remappings=[
2('imu', '/imu/data'),
3('rgb/image', '/camera/camera/color/image_raw'),
4('rgb/camera_info', '/camera/camera/color/camera_info'),
5('depth/image', '/camera/camera/depth/image_rect_raw')]Command Line
1ros2 launch realsense2_camera rs_launch.py enable_gyro:=true enable_accel:=true unite_imu_method:=1 enable_sync:=trueCommand Line
1ros2 launch depthai_ros_driver driver.launch.py rs_compat:=truedepthai_ros_driver 包中的 rtabmap.launch.py 示例,以使用 OAK 摄像头运行 RTABMap。您还可以进行一些修改,以启用此示例的 RS 模式。重新校准
- 使用每个图像流可用的
set_camera_info服务 - 使用
i_calibration_file参数指向校准文件。注意 摄像头名称必须以/开头,例如/rgb。有关示例校准文件,请参阅depthai_ros_driver/config/calibration。 提供了calibration.launch文件,用于以单目和立体配置启动 ROS 摄像头校准器节点。 校准文件语法(来自camera_info_manager):
Yaml
1- file:///full/path/to/local/file.yaml
2- file:///full/path/to/videre/file.ini
3- package://camera_info_manager/tests/test_calibration.yaml
4- package://ros_package_name/calibrations/camera3.yaml开发者指南
- 创建单独的工作区
- 将仓库克隆到 src
- 将
.devcontainer目录复制到主工作区目录 - 在 VSCode 中打开工作区目录