onnx_qnn
最后更新
depthai_nodes.runtime.onnx_qnn在 OAK4 Hexagon DSP 上创建 ONNX Runtime 会话。函数
onnx_qnn_session
Python
1def onnx_qnn_session(model_path, *, fp16=True, cache_context=True, performance_mode='burst', fallback_to_cpu=True, runtime_fallback='ort', device_wait_s=60, ep_options=None, session_options=None, verbose=False):oakapp-base 的 onnxruntime 变体。该镜像提供了 FastRPC 设置、QNN 插件和所需的设备节点。参数model_path: .onnx 模型的路径。输入必须具有静态形状。fp16: 在 HTP 上以 fp16 运行 fp32 图(对于 QDQ int8 模型无操作)。cache_context: 将编译后的 QNN 图 (EPContext) 缓存到模型旁边,以便后续会话创建跳过 HTP 图编译。performance_mode: QNN HTP 性能模式(例如,burst)。fallback_to_cpu: 如果为 False,则在会话创建期间 DSP 不可用或任何节点无法放置在其上时引发错误。如果为 True,则在没有 QNN 设备可用时返回 CPU 会话。runtime_fallback: QNN 执行错误后的行为。"ort"保留 ONNX Runtime 的自动回退行为;"raise"禁用它,以便调用者可以显式处理错误。device_wait_s: 启动期间等待 QNN 设备出现的时间(秒)。设置为 0 表示检查一次。ep_options: 额外的 QNN EP 提供程序选项(字典),最后合并。session_options: 预配置的 ort.SessionOptions 以进行扩展。verbose: 启用详细的 ORT 日志记录。
- onnxruntime.InferenceSession