此页面由 AI 自动翻译。查看英文原版
最后更新

本页目录

  • 如何放置
  • 输入和输出
  • 用法
  • 功能示例
  • 工作原理
  • 图像单元格
  • 初始 Harris 阈值
  • 新特征的进入条件
  • 跟踪特征的 Harris 阈值
  • 特征维护
  • 新位置计算
  • 参考
Claude CodeCodexCursor
Luxonis 智能体工具包为你常用的编程智能体加载 Luxonis 上下文与技能,更快地基于 OAK 开发应用。
安装工具包

FeatureTracker

最后更新
Supported on:RVC2RVC4
FeatureTracker 节点检测帧上的关键点(特征)并在下一帧上跟踪它们。有效特征从 Harris 分数或 Shi-Tomasi 获得。 目标特征的默认数量为 320,最大特征的默认数量为 480。

如何放置

Python

Python
1with dai.Pipeline() as pipeline:
2    featureTracker = pipeline.create(dai.node.FeatureTracker)

C++

C++
1dai::Pipeline pipeline;
2auto featureTracker = pipeline.create<dai::node.FeatureTracker>();

输入和输出

用法

Python

Python
1with dai.Pipeline() as pipeline:
2    featureTracker = pipeline.create(dai.node.FeatureTracker)
3
4    # Set number of shaves and number of memory slices to maximum
5    featureTracker.setHardwareResources(2, 2)
6    # Specify to wait until configuration message arrives to inputConfig Input.
7    featureTracker.setWaitForConfigInput(True)
8
9    # You have to use Feature tracker in combination with
10    # an image frame source - mono/color camera or xlinkIn node

C++

C++
1dai::Pipeline pipeline;
2auto featureTracker = pipeline.create<dai::node.FeatureTracker>();
3
4// Set number of shaves and number of memory slices to maximum
5featureTracker->setHardwareResources(2, 2);
6// Specify to wait until configuration message arrives to inputConfig Input.
7featureTracker->setWaitForConfigInput(true);
8
9// You have to use Feature tracker in combination with
10// an image frame source - mono/color camera or xlinkIn node

功能示例

工作原理

图像单元格

为了在图像周围都有特征,图像被分成单元格,然后单独处理。每个单元格都有一个 目标特征计数 = 帧目标特征 / 单元格数量。 单元格的数量可以在水平和垂直方向上配置。默认的单元格数量是 4(水平)x 4(垂直)。这意味着每个单元格的默认目标特征数量是: 320 / (4 * 4) = 20。请注意,如果一个已经跟踪的点恰好其新坐标在一个已满的单元格中,它将不会被移除,因此特征数量可能会超过此限制。

初始 Harris 阈值

此阈值控制将被检测到的特征的最小强度。将此值设置为 0 启用自动阈值,用于适应不同的场景。如果纹理很多, 此值需要增加,以限制检测到的点数。每个单元格都有自己的阈值。

新特征的进入条件

新特征的进入条件是:
  • 特征之间不能太近(最小距离标准 - 默认值为 50,测量单位为像素的平方欧几里得距离),
  • 特征的 Harris 分数足够高,
  • 单元格中有足够的 空间 容纳特征(未达到目标特征计数)。

跟踪特征的 Harris 阈值

一旦检测到特征并开始跟踪它,我们需要在每个图像上更新其 Harris 分数。 此阈值定义了必须移除此类特征的点。 目标是尽可能长时间地跟踪点,因此进入点的条件高于 已经跟踪的点的条件。这就是为什么此值通常小于检测阈值。

特征维护

算法必须决定哪些特征将被移除,哪些将被保留在 后续帧中。请注意,跟踪的特征优先于新特征。 它将移除以下特征:
  • 跟踪误差过大(未正确跟踪),
  • Harris 分数过小(可配置阈值)。

新位置计算

当前帧上先前特征的位置可以通过两种方式计算:
  1. 使用金字塔式 Lucas-Kanade 光流法。
  2. 使用密集运动估计硬件块(块匹配器)。

参考

class

dai::node::FeatureTracker

#include FeatureTracker.hpp
variable
std::shared_ptr< FeatureTrackerConfig > initialConfig
Initial config to use for feature tracking.
variable
Input inputConfig
Input FeatureTrackerConfig message with ability to modify parameters in runtime. Default queue is non-blocking with size 4.
variable
Input inputImage
Input message with frame data on which feature tracking is performed. Default queue is non-blocking with size 4.
variable
Output outputFeatures
Outputs TrackedFeatures message that carries tracked features results.
variable
Output passthroughInputImage
Passthrough message on which the calculation was performed. Suitable for when input queue is set to non-blocking behavior.
function
FeatureTracker()
function
FeatureTracker(std::unique_ptr< Properties > props)
function
void setHardwareResources(int numShaves, int numMemorySlices)
Specify allocated hardware resources for feature tracking. 2 shaves/memory slices are required for optical flow, 1 for corner detection only.
Parameters
  • numShaves: Number of shaves. Maximum 2.
  • numMemorySlices: Number of memory slices. Maximum 2.
inline function
DeviceNodeCRTP()
inline function
DeviceNodeCRTP(const std::shared_ptr< Device > & device)
inline function
DeviceNodeCRTP(std::unique_ptr< Properties > props)
inline function
DeviceNodeCRTP(std::unique_ptr< Properties > props, bool confMode)
inline function
DeviceNodeCRTP(const std::shared_ptr< Device > & device, std::unique_ptr< Properties > props, bool confMode)

需要帮助?

请访问讨论论坛以获取技术支持或您可能有的任何其他问题。