此页面由 AI 自动翻译。查看英文原版
最后更新

本页目录

  • 概述
  • 审查数据集元数据和健康状况
  • 健康检查参考
  • 了解拆分
  • 为训练版本化数据集

数据集健康状况、拆分和版本

最后更新

概述

数据集健康检查有助于在训练前识别数据不足、拆分不当和类别不平衡问题。数据集版本冻结训练输入,即使工作数据集发生变化,您也可以重现运行。

审查数据集元数据和健康状况

打开“元数据”选项卡

打开数据集并选择元数据。摘要显示已完成的总大小、每个拆分中已完成的样本以及未完成的样本数量。

检查健康检查和分布

审查整体健康状态和每个健康行。页面还列出了任务名称、任务类型和类别、拆分分布图以及每个类别的注释计数。使用这些详细信息来决定是否收集更多数据、完成更多注释、调整拆分或解决类别不平衡问题。

健康检查参考

检查健康信号不健康或失败信号重要性
大小至少 1,000 个已完成样本少于 16 个失败;16-999 个不健康非常小的数据集难以学习泛化模式
拆分分布已完成样本在训练、验证和测试中大致按 80/10/10 分布一个或多个拆分与其预期份额存在显著差异训练需要大部分数据,而验证和测试需要足够的独立示例才能有意义
类别分布每个类别都有代表,并且没有一个类别远低于平均份额某个类别缺失或严重不足严重不平衡会使模型偏向频繁出现的类别
如果任何检查失败,则总体结果为失败;如果任何检查不健康,则为不健康;如果所有检查都健康,则为健康。

了解拆分

拆分将模型优化与模型评估分开:
  • 训练拆分在模型权重更新期间反复出现。
  • 验证拆分在训练期间进行检查,以调整决策并选择最佳检查点。
  • 测试拆分在做出训练选择后,用于最终、偏差较小的测量。
大约 80/10/10 的分布是一个有用的默认值,但最佳比例取决于数据集大小以及问题需要多少独立的验证和测试覆盖率。比精确百分比更重要的是防止近乎重复的场景泄露到拆分中,因为这会使评估看起来比实际部署性能更好。要重新分配工作数据集,请打开其操作菜单并选择重新拆分。选择总计为 100 的百分比;Hub 将更改作为后台作业应用。重新拆分会更改工作数据集,但不会更改现有只读版本。

为训练版本化数据集

版本将数据集的选定状态复制到冻结的只读资源中。在 Hub 中,版本通常从训练运行表单创建。

启用“版本数据集”并选择可选标签

从项目中,打开新建训练运行并启用版本数据集。版本使用运行名称,因此数据快照很容易与其运行关联。当运行只需要数据集的一部分时,选择标签。AND 要求所有选定的标签,而OR 包含具有任何选定标签的样本。将过滤器留空以版本化完整数据集。当您提交运行后,版本并开始训练运行作业将在训练开始前创建或重用版本。

从数据集或运行中查找版本

使用数据集页面上的版本过滤器检查只读快照。数据集版本选择器和运行的链接数据集版本字段提供对同一资源的直接访问。
版本化会在训练开始前增加复制时间,特别是对于大型数据集,因此它是可选的。当自使用相同标签过滤器创建的最新版本以来没有任何更改时,Hub 会重用该版本。当您需要以下情况时,请使用版本:
  • 在工作数据集更改后重现运行;
  • 在相同的样本和注释上比较架构或设置;
  • 审计生成已部署模型的数据;
  • 在继续收集数据时保留标签选择的训练队列。
继续阅读 训练和评估运行,以在项目中使用数据集或数据集版本。