# 创建、上传和导出数据集

## 概述

通过定义任务来创建数据集，然后从带注释的存档、单个图像、快照或重复数据摄取中填充数据集。Hub 在后台作业中导入数据，之后可以导出兼容的存档以供 Hub 外部使用。

> **Note**
> 在导入带注释的数据之前，请确定其任务类型、任务名称和类别。Hub 会删除与数据集定义不匹配的注释。

## 创建数据集并上传数据

以下示例创建了一个用于托盘图像的对象检测数据集。

打开 [Luxonis Hub](https://hub.luxonis.com/ai/datasets)，选择 Datasets，然后点击 Add Dataset。输入一个描述性名称，例如 `Warehouse Pallets`。

选择 Object Detection 任务预设，输入任务名称，添加 `pallet` 类别，然后点击 Add。

或者，选择一个 Project 以继承其任务名称和类别。当数据集包含多个任务或需要预设未表示的任务定义时，使用 Custom。

选择上传源，或关闭对话框以保持新数据集为空：

 * Zip of existing data：从支持的数据集格式的存档中导入图像和支持的注释。有关这些支持格式的更多详细信息，请参阅
   [LuxonisParser](/software-v3/ai-inference/model-source/training/luxonis-ml/luxonis-parser.md)。
 * Images：上传图像文件并允许您选择其拆分和标签。
 * Cancel：关闭上传对话框并使新数据集为空，以便您以后可以添加数据。

选择存档或图像，然后点击 Upload。Hub 会将上传作业排队，并在处理成功时将数据集更改为 Ready。打开通知或 Jobs 页面以检查已保存和已删除的注释计数，或排除失败导入的故障。

使用现有数据集中的 Add Data 可以在以后上传更多存档或图像。

### 存档解析参考

Hub 从提取的目录结构中检测支持的格式。支持的导入布局包括：

| 数据类型 | 自动检测布局 |
| --- | --- |
| 对象检测 | COCO、Pascal VOC、Darknet、YOLOv4、YOLOv6、YOLOv8、Create ML、TensorFlow CSV、Ultralytics NDJSON |
| 分类 | 分类目录、FiftyOne 分类、Luxonis 原生格式 |
| 语义分割 | 分割掩码目录、Unity SOLO、Luxonis 原生格式 |
| 实例分割 | COCO、YOLOv8 实例分割、Ultralytics NDJSON 实例分割、Unity SOLO、Luxonis 原生格式 |
| 关键点检测 | COCO、YOLOv8 关键点、Ultralytics NDJSON 关键点、Unity SOLO、Luxonis 原生格式 |
| OCR 和混合任务 | Luxonis 原生格式 |

有关布局示例和规范格式名称，请参阅
[LuxonisParser](/software-v3/ai-inference/model-source/training/luxonis-ml/luxonis-parser.md)。

> **仔细准备存档根目录**
> 当存档包含常见的注释文件（如 JSON、YAML、XML、TXT、CSV、LABELS 或 NDJSON）时，Hub 会决定是否解析注释。将数据集布局放在存档根目录。额外的封闭目录可能会阻止格式检测并导致“零样本解析”错误。

> **拆分、状态和不匹配的类别**
> 如果源格式没有拆分信息，Hub 会使用 80/10/10 的训练、验证和测试分布分配样本。常规上传将作为 Completed 进入注释工作流。具有数据集中未定义的类别或类型的注释将被删除；请查看作业日志以获取计数。

上传不带注释的图像文件时，请在上传表单中选择其拆分和可选标签。这些样本在处理后即可进行注释。

## 添加单个快照

使用此路径将有用的图像从设备操作移动到训练数据集。

在 Hub 中，打开 Control → Snaps，然后选择要保留的快照。有关捕获和存储详细信息，请参阅 [Snaps](/cloud/features/event-storage/snaps.md)。

点击 Add to Dataset，选择目标数据集和拆分，然后确认。Hub 将样本排队等待摄取。

## 配置数据摄取

数据摄取会按计划或在一次性范围内将匹配的快照收集到数据集中。使用它将生产观察结果转化为可重复的数据收集管道。

打开 Datasets，选择 Data Ingestions 选项卡，然后点击 Add Ingestion。

输入名称，选择目标数据集，并可选择将标签附加到导入的样本。选择 All 以包含所有匹配的快照，或选择 Random 和一个比率以采样百分比。

选择一次性日期范围或重复频率。可选择源设备或应用程序以限制收集哪些快照；将 Source Device or App 留空为 None 以从与所有其他设置匹配的每个源收集。保存摄取并在需要立即启动时使用 Run。

使用 Ingestion Runs 表监控每次执行，并在需要更多详细信息时打开其后台作业。

如果快照包含其标签名称与对象检测任务匹配的检测，Hub 会将其作为 Pre-annotated 框导入。在将样本更改为 Completed 之前，请查看这些注释。

## 导出数据集

打开数据集操作菜单，选择 Export，然后选择与数据集任务兼容的格式之一。选择格式会立即将导出作业排队。

打开 Jobs，找到已完成的 Dataset Export 作业，然后点击 Download Export。下载链接是临时的，如果链接已过期，请启动另一个导出。

### 导出格式参考

Hub 仅显示可以表示数据集中所有任务的格式。Luxonis 原生格式是混合或不支持组合的备用方案。

| 数据集任务 | 兼容的导出系列 |
| --- | --- |
| 对象检测 | COCO、Pascal VOC、Darknet、YOLOv4、YOLOv6、YOLOv8、Create ML、TensorFlow CSV、Ultralytics NDJSON、Luxonis |
| 分类 | 分类目录、FiftyOne 分类、Luxonis |
| 语义分割 | 分割掩码目录、Unity SOLO、Luxonis |
| 实例分割 | COCO、YOLOv8 实例分割、Ultralytics NDJSON 实例分割、Unity SOLO、Luxonis |
| 关键点检测 | COCO、YOLOv8 关键点、Ultralytics NDJSON 关键点、Unity SOLO、Luxonis |
| OCR | Luxonis |

对于包含多个任务的数据集，可用列表是支持所有所需注释类型的格式的交集。
