此页面由 AI 自动翻译。查看英文原版
最后更新

本页目录

  • 默认应用程序
  • 开放词汇对象检测
Claude CodeCodexCursor
Luxonis 智能体工具包为你常用的编程智能体加载 Luxonis 上下文与技能,更快地基于 OAK 开发应用。
安装工具包

基础镜像 (oakapp-base)

最后更新
基础镜像是一个最小的 Docker 镜像,它为运行复杂的 OAK4 应用程序提供了必要的环境。它包括 Python 3.12 和其他基本库,允许开发人员在 OAK4 摄像头上构建和部署应用程序。基础镜像的关键组件包括:
  • nginx - 一个代理,用于提供静态文件或处理对应用程序前端的请求。它在同一个端口上暴露 DAI WebSocket 和前端。这很重要,特别是通过 IP 地址访问时。编码流仅通过 HTTPS 可用,而通过 IP 访问设备启用 HTTPS 的唯一方法是使用自签名证书。浏览器只允许每个 IP 一个自签名证书,因此 nginx 为前端和 DAI WebSocket 创建了一个反向代理,它们在内部运行在不同的端口上,但必须通过一个证书在单个端口上公开暴露。
  • oak_webrtc - 一个用于 WebRTC 通信的工具,用于通过 *.luxonis.app 域 提供对应用程序的远程访问。它使用 WebRTC 在应用程序和查看器之间建立连接,允许实时流传输视频和其他数据。它可以在本地网络上直接连接,并且在网络容量允许的情况下,应该能够处理高达 400 Mbps 的吞吐量。通过 WebSocket 的通信受浏览器性能和网络带宽的限制,但它可以轻松处理 1 Gbps+。
  • python 3.12 - Python 用于应用程序的后端,它使用 DAI v3。请注意,DAI 本身安装在应用程序中;requirements 文件的示例如此:requirements.txt。
最后更新

默认应用程序

您可以在此定义中查看它 oakapp.toml。关键部分如下:
Toml
1identifier = "com.example.apps.default-app"
2entrypoint = ["/entrypoint.sh", "python3", "-u", "/app/main.py"]
3app_version = "1.1.0"
4assign_frontend_port = true
  • identifier - 应用程序的名称,采用 Java 格式(以点作为分隔符)。请注意,标识符在 Hub 中必须是唯一的,因此建议使用您的团队名称作为前缀。
  • entrypoint - 一个字符串数组(argv 格式的命令)。这是应用程序启动时执行的命令。基础镜像的 /entrypoint.sh 启动其支持服务并运行提供的后端命令 python3 -u /app/main.py。将后端命令传递给 /entrypoint.sh 允许应用程序在停止时优雅地关闭。
  • app_version - 应用程序的版本。建议使用语义版本控制。
  • assign_frontend_port - 如果为 true,则会为应用程序分配一个前端端口,然后内部 nginx 服务器将使用该端口来提供前端文件。如果为 false,则应用程序将不会获得分配的前端端口,并且将无法在标准端口上提供任何前端文件。OAK4 上运行的代理处理端口分配,并且为每个应用程序分配一个唯一的端口,因此无需在 oakapp.toml 文件中指定端口。
Toml
1prepare_container = [
2    { type = "COPY", source = "./requirements.txt", target = "./requirements.txt" },
3    { type = "RUN", command = "python3.12 -m pip install -r /app/requirements.txt --break-system-packages"}
4]
此部分定义了为应用程序准备容器的步骤。它包括将 requirements.txt 文件复制到容器中,并使用 pip 安装所需的 Python 包。这确保了在应用程序启动时所有必要的依赖项都可用。此外,它还保证了在执行 oakctl app run 命令时,依赖项只安装一次或根据需要安装。
Toml
1[base_image]
2api_url = "https://registry-1.docker.io"
3service = "registry.docker.io"
4oauth_url = "https://auth.docker.io/token"
5auth_type = "repository"
6auth_name = "luxonis/oakapp-base"
7image_name = "luxonis/oakapp-base"
8image_tag = "1.3.0"
您可以将任何 Docker 镜像(如果要在 OAK4 上运行应用程序,则支持 ARM64 架构)用作应用程序的基础,但建议使用 luxonis/oakapp-base 镜像,因为它专为 OAK4 应用程序设计,并包含所有必要的依赖项和配置。后端源是 main.py,由上面的 entrypoint 命令启动。Python 已包含在基础镜像中,因此无需再次安装。

开放词汇对象检测

这是一个更复杂的示例,它使用了所有功能。应用程序定义可在此处获取:oakapp.toml。与上一个示例的主要区别在于:
Toml
1entrypoint = ["/entrypoint.sh", "python3", "-u", "/app/backend/src/main.py"]
2prepare_build_container = [{type = "RUN", command = "bash -c 'curl -o- https://raw.githubusercontent.com/nvm-sh/nvm/v0.40.3/install.sh | bash && . \"$HOME/.nvm/nvm.sh\" && nvm install 24'"}]
3
4[static_frontend]
5dist_path = "./frontend/dist"
6
7[static_frontend.build]
8source_path = "./frontend"
9steps = ["bash -c 'cd /app/frontend/src && export NODE_OPTIONS=--max-old-space-size=4096 && . $HOME/.nvm/nvm.sh && npm install && npm run build'"]
此示例不使用 DAI 的可视化工具(上一个示例中使用的),而是使用 React.js 构建的自定义前端。它使用 nvm 安装 Node.js 版本 24,然后构建前端应用程序。前端构建在 static_frontend.build 部分执行,其中 npm 用于安装依赖项和构建应用程序。此构建也在设备上执行,因此运行 oakctl app run . 足以构建整个应用程序,包括前端。
  • dist_path - 构建的前端应用程序的路径;这是构建过程完成后构建文件所在的位置。建议遵循此示例中的结构,后端一个文件夹,前端一个文件夹。这不是必需的,但它有助于保持结构清晰和有组织。
  • source_path - 前端应用程序源代码的路径;这是构建过程开始前源代码所在的位置。
  • steps - 一个字符串数组,每个字符串代表将在容器中执行以构建前端应用程序的命令。在此示例中,npm 用于安装依赖项和构建应用程序。设置 NODE_OPTIONS 环境变量以增加 Node.js 的内存限制,有助于避免构建过程中的内存不足错误。前端使用 React.js 库 @luxonis/depthai-viewer-common,它提供了用于渲染流和注释的高级组件,并支持使用 WebSocket 进行直接访问以及使用 WebRTC 通过 *.luxonis.app 域 进行远程访问与后端通信。