# Hub AI 工作流程

## 概述

Hub AI 将模型开发转化为一个可重复的循环：收集代表性数据，对其进行标注和验证，训练和评估模型，部署最佳版本，然后利用生产观察结果改进下一个版本。

> **Note**
> 该循环是迭代的，而非严格线性的。当有证据表明模型需要不同的示例或标签时，您可以返回到数据收集、标注、训练或评估阶段。

Pipeline nodes:
- Collect or upload
- Annotate and version
- Train and evaluate
- Model version
- Convert and deploy
- Production Snaps

Pipeline connections:
- Collect or upload -> Annotate and version
- Annotate and version -> Train and evaluate
- Train and evaluate -> Model version
- Model version -> Convert and deploy
- Convert and deploy -> Production Snaps
- Production Snaps -> Collect or upload

## 1. 收集样本

从代表模型运行条件的图像开始。上传现有的标注存档、图像集合或添加单个 [快照](/cloud/features/event-storage/snaps.md)。

在导入之前定义数据集任务、任务名称和类别，以便 Hub 可以正确映射标注。对每个摄取路径及其解析器要求使用
[创建、上传和导出](/cloud/hubai/training/datasets/upload.md)。

## 2. 标注和审查

手动标注样本，使用 [智能标注](/cloud/hubai/training/datasets/annotate.md) 加速兼容任务，或使用早期 Hub 训练运行的检查点
[预标注批次](/cloud/hubai/training/datasets/annotate.md)。机器生成的标签将显示为 预标注，应进行审查。

标注状态可以表达团队的审查过程。将已批准的样本移至 已完成，因为已完成的样本决定了数据集健康和运行验证所使用的分割大小。请参阅
[标注](/cloud/hubai/training/datasets/annotate.md)。

## 3. 检查健康状况并冻结输入

审查数据集大小、分割分布和类别分布。使用训练数据更新权重，使用验证数据选择最佳检查点，并使用保留的测试数据进行最终比较。健康状况是一个建议信号：在部署问题的背景下调查警告，而不是将标签视为保证。

为了实现可重现的实验，在训练运行中启用 版本数据集。只读快照记录了运行的数据状态，并且可以选择只包含与选定标签匹配的样本。当源和标签过滤器未更改时，Hub 会重用最新版本。请参阅
[健康状况、分割和版本](/cloud/hubai/training/datasets/health-splits-versions.md)。

## 4. 在项目中训练

从数据集中创建项目，以便任务名称、类型和类别匹配。添加链接模型并选择兼容的 LuxonisTrain 架构。训练运行将该模型与数据集输入、检查点策略和计算速度相结合。

保守估计值保留在 [积分](/cloud/hubai/training/credits.md) 中，而
[作业](/cloud/hubai/training/jobs.md) 协调版本控制、导出、训练和模型注册。遵循
[训练和评估运行](/cloud/hubai/training/runs.md) 来创建和控制实验。

## 5. 评估和比较

每次成功的训练运行都会发布一个新的链接模型版本，其中包含两个工件：

 * 用于推理和转换的 ONNX [NN 存档](/software-v3/ai-inference/nn-archive.md)；
 * 用于评估、恢复训练和预标注的 PyTorch 检查点。

使用运行的主要指标来比较由等效数据集版本进行的实验。然后检查验证和测试指标、损失和指标曲线、每个类别的结果以及推理图像，然后选择候选模型。[训练和评估运行](/cloud/hubai/training/runs.md)
解释了信号和常见的曲线模式。

## 6. 推广和部署

添加模型版本标签，例如 `candidate` 或 `production`，以表明哪个模型最适合您的应用程序。标签可以移动到更新的版本，而版本历史和训练运行链接保留了实验记录。

从训练运行中打开 部署，或从 [模型注册表](/cloud/hubai/model-registry/concepts.md) 转换 ONNX 存档。选择正确的目标平台，然后从 DepthAI 管道或
OAK App 中引用生成的 RVC 模型实例。

对于生产工作负载，当应用程序必须固定到特定的编译工件时，首选不可变模型实例标识符。

## 7. 将观察结果反馈到数据中

模型部署后，将困难场景、漏检和具有代表性的新环境捕获为快照。将它们添加到数据集中，对其进行标注或预标注，并使用标签组织下一个队列。

创建另一个数据集版本，运行可比较的实验，并且只有当评估显示对部署有意义的改进时才推广新模型。数据集版本、训练运行、模型版本和模型标签之间的链接为该决策提供了审计跟踪。
