此页面由 AI 自动翻译。查看英文原版
最后更新

本页目录

  • 如何放置
  • 输入和输出
  • 用法
  • RVC4 特性
  • 后端选择
  • 去畸变支持
  • 支持的图像格式
  • 操作顺序
  • 调整大小和宽高比处理
  • 限制
  • 功能示例
  • 参考
Claude CodeCodexCursor
Luxonis 智能体工具包为你常用的编程智能体加载 Luxonis 上下文与技能,更快地基于 OAK 开发应用。
安装工具包
最后更新
Supported on:RVC2RVC4
ImageManip 节点可用于裁剪、旋转、翻转、调整大小、缩放、转换(类型)和变换 ImgFrames。它是 ImageManip (v1) 的更新版本,具有更清晰的 API 和更多功能。

如何放置

Python

Python
1with dai.Pipeline() as pipeline:
2    manip = pipeline.create(dai.node.ImageManip)

C++

C++
1dai::Pipeline pipeline;
2auto manip = pipeline.create<dai::node::ImageManip>();

输入和输出

用法

Python

Python
1pipeline = dai.Pipeline()
2manip = pipeline.create(dai.node.ImageManip)
3
4manip.initialConfig.setResize(300, 300, dai.ImageManipConfig.ResizeMode.STRETCH)
5manip.initialConfig.setFrameType(dai.ImgFrame.Type.BGR888p)

C++

C++
1dai::Pipeline pipeline;
2auto manip = pipeline.create<dai::node::ImageManip>();
3
4manip->initialConfig.setResize(300, 300, dai::ImageManipConfig::ResizeMode::STRETCH);
5manip->initialConfig.setFrameType(dai.ImgFrame::Type::BGR888p);

RVC4 特性

后端选择

与 Backend.CPU 相比,GPU 后端提高了性能并降低了功耗。公共 API 通过 setBackend(...) 暴露了 Backend.CPU、Backend.HW 和 Backend.GPU。仅当您想明确覆盖默认的 RVC4 行为时才调用 setBackend(...)。

Python

Python
1manip = pipeline.create(dai.node.ImageManip)
2manip.setBackend(dai.node.ImageManip.Backend.GPU)

C++

C++
1auto manip = pipeline.create<dai::node::ImageManip>();
2manip->setBackend(dai::node::ImageManip::Backend::GPU);

去畸变支持

从 DepthAI 3.8.0 开始,RVC4 GPU 后端还支持图像去畸变。这允许您在需要下游处理前进行校准去畸变的管道中,将 ImageManip 保留在默认的 GPU 路径上。如果您的管道从 Camera 输出开始,请参阅 Camera Undistort 以获取请求去畸变流的端到端示例。

支持的图像格式

ImageManip 节点支持以下图像格式(更多信息 在此 PR 中):
  • 支持的输入格式:RGB/BGR、平面/交错、YUV/NV12、RAW8 和 GRAY8
  • 将格式转换为上述任何其他格式
  • 支持 RAW16 (uint16, depth 输出),但不支持颜色转换功能
请注意,平面格式处理速度更快,因此应避免使用交错图像(例如 NV12 输入)。

操作顺序

操作顺序很重要,因为操作是按照它们设置的顺序应用的,例如,下面的示例(来自 ImageManip 多操作)将首先裁剪图像,然后垂直翻转它:
Python
1manip = pipeline.create(dai.node.ImageManip)
2manip.initialConfig.addCrop(50, 100, 500, 500)
3manip.initialConfig.addFlipVertical()

调整大小和宽高比处理

当您的神经网络期望的宽高比与相机传感器不同时(例如,NN 期望 1:1,但传感器输出 4:3),您有三个主要选项:裁剪图像、拉伸图像或添加黑边。要使用 ImageManip 调整图像大小以用于神经网络输入或其他处理,请使用:
Python
1manip = pipeline.create(dai.node.ImageManip)
2manip.initialConfig.setOutputSize(width, height, dai.ImageManipConfig.ResizeMode)
可用调整大小模式
模式保留宽高比完整视场优点缺点
CENTER_CROP是否最适合 NN 精度;保留宽高比裁剪图像;缩小视场
LETTERBOX是是保留宽高比和完整视场添加填充;NN 的图像区域更小;可能降低 NN 精度
STRETCH否是保留完整视场宽高比不保留;可能降低 NN 精度
这些模式对于处理 NN 输入形状与传感器原生宽高比不同的情况很有用。有关更多信息,请参阅 NN 的分辨率技术。

限制

除了上面提到的限制(不支持的帧格式),还有其他限制:
  • 由于硬件扭曲限制,旋转/扭曲只能在宽度值为 16 的倍数的帧上进行
  • 帧的最大输出宽度为 4056 像素

功能示例

参考

class

dai::node::ImageManip

#include ImageManip.hpp
variable
std::shared_ptr< ImageManipConfig > initialConfig
Initial config to use when manipulating frames
variable
Input inputConfig
Input ImageManipConfig message with ability to modify parameters in runtime
variable
Input inputImage
Input image to be modified
variable
Output out
Outputs ImgFrame message that carries modified image.
function
ImageManip()
function
ImageManip(std::unique_ptr< Properties > props)
inline function
std::shared_ptr< ImageManip > build()
function
void setNumFramesPool(int numFramesPool)
Specify number of frames in pool.
Parameters
  • numFramesPool: How many frames should the pool have
function
void setMaxOutputFrameSize(int maxFrameSize)
Specify maximum size of output image.
Parameters
  • maxFrameSize: Maximum frame size in bytes
function
void setMaxPoolSize(unsigned int maxPoolSize)
Specify maximum size of output image pool.
Parameters
  • maxPoolSize: Maximum pool size in bytes
function
ImageManip & setRunOnHost(bool runOnHost)
Specify whether to run on host or device
Parameters
  • runOnHost: Run node on host
function
ImageManip & setBackend(Backend backend)
Set backend preference:
  • CPU: Run ImageManip on the CPU.
  • HW: Prefer the dedicated hardware image manipulation backend.
  • GPU: Prefer the GPU backend.
  • AUTO: Let the runtime select the backend automatically (GPU with CPU fallback).
Hardware-accelerated backends can cause some unexpected behavior when using multiple ImageManip nodes in series. Currently, the only operation affected is downscaling.
Parameters
  • backend: Backend preference
function
ImageManip & setPerformanceMode(PerformanceMode performanceMode)
Set performance mode
Parameters
  • performanceMode: Performance mode
function
bool runOnHost()
Check if the node is set to run on host
function
void run()
inline function
DeviceNodeCRTP()
inline function
DeviceNodeCRTP(const std::shared_ptr< Device > & device)
inline function
DeviceNodeCRTP(std::unique_ptr< Properties > props)
inline function
DeviceNodeCRTP(std::unique_ptr< Properties > props, bool confMode)
inline function
DeviceNodeCRTP(const std::shared_ptr< Device > & device, std::unique_ptr< Properties > props, bool confMode)
Backend preference for ImageManip on RVC4.
  • CPU: Run ImageManip on the CPU.
  • HW: Prefer the dedicated hardware image manipulation backend.
  • GPU: Prefer the GPU backend.
  • AUTO: Let the runtime select the backend automatically (GPU with CPU fallback).
Hardware-accelerated backends can cause some unexpected behavior when using multiple ImageManip nodes in series. Currently, the only operation affected is downscaling.
enumerator
CPU
enumerator
HW
enumerator
GPU
enumerator
AUTO
Set performance mode for ImageManip with a tradeoff between performance and power consumption. Only applied on RVC4. This only affects scaling NV12 and GRAY images.
  • PERFORMANCE: High performance, high power consumption. Uses the OpenCV backend.
  • BALANCED: Balanced performance and power consumption. Uses the FastCV backend configured for high performance where possible with a fallback to OpenCV.
  • LOW_POWER: Low performance, low power consumption. Uses the FastCV backend configured for low power where possible with a fallback to OpenCV.
enumerator
PERFORMANCE
enumerator
BALANCED
enumerator
LOW_POWER

需要帮助?

请访问讨论论坛以获取技术支持或您可能有的任何其他问题。