此页面由 AI 自动翻译。查看英文原版
最后更新

本页目录

  • 函数
  • onnx_qnn_session
  • 属性
  • logger
Claude CodeCodexCursor
Luxonis 智能体工具包为你常用的编程智能体加载 Luxonis 上下文与技能,更快地基于 OAK 开发应用。
安装工具包
最后更新
Python API: depthai_nodes.runtime.onnx_qnn在 OAK4 Hexagon DSP 上创建 ONNX Runtime 会话。

函数

onnx_qnn_session

Python
1def onnx_qnn_session(model_path, *, fp16=True, cache_context=True, performance_mode='burst', fallback_to_cpu=True, runtime_fallback='ort', device_wait_s=60, ep_options=None, session_options=None, verbose=False):
在 OAK4 DSP (HTP) 上创建 ONNX Runtime 会话。此帮助程序旨在用于 oakapp-base 的 onnxruntime 变体。该镜像提供了 FastRPC 设置、QNN 插件和所需的设备节点。参数
  • model_path: .onnx 模型的路径。输入必须具有静态形状。
  • fp16: 在 HTP 上以 fp16 运行 fp32 图(对于 QDQ int8 模型无操作)。
  • cache_context: 将编译后的 QNN 图 (EPContext) 缓存到模型旁边,以便后续会话创建跳过 HTP 图编译。
  • performance_mode: QNN HTP 性能模式(例如,burst)。
  • fallback_to_cpu: 如果为 False,则在会话创建期间 DSP 不可用或任何节点无法放置在其上时引发错误。如果为 True,则在没有 QNN 设备可用时返回 CPU 会话。
  • runtime_fallback: QNN 执行错误后的行为。"ort" 保留 ONNX Runtime 的自动回退行为;"raise" 禁用它,以便调用者可以显式处理错误。
  • device_wait_s: 启动期间等待 QNN 设备出现的时间(秒)。设置为 0 表示检查一次。
  • ep_options: 额外的 QNN EP 提供程序选项(字典),最后合并。
  • session_options: 预配置的 ort.SessionOptions 以进行扩展。
  • verbose: 启用详细的 ORT 日志记录。
返回
  • onnxruntime.InferenceSession

属性

logger