DataDreamer®
最后更新

快速入门
Command Line
1pip install datadreamer
2datadreamer --class_names person moon robot- 包含如何生成数据集、训练模型并将其导出到 RVC2/RVC3 的说明的 Google Colab 笔记本:DataDreamer 快速入门
- 头盔检测示例:头盔检测
- 更多信息请参见 DataDreamer GitHub 仓库
概述

DataDreamer 是一个先进的工具包,旨在促进边缘 AI 模型的开发,无论初始数据可用性如何。DataDreamer 的独特功能包括:- 合成数据生成:消除对大量 AI 训练数据集的依赖。DataDreamer 使开发人员能够利用先进的 AI 算法从头开始生成合成数据集,这些算法能够生成高质量、多样化的图像。
- 从基础模型中提取知识:
DataDreamer利用复杂预训练 AI 模型中嵌入的潜在知识。这种能力允许将这些“基础模型”的广泛理解转移到更小、定制的模型中,从而显著增强其功能。 - 高效且强大的模型:
DataDreamer的主要目标是创建紧凑的模型,这些模型既能高效地集成到任何设备中,又能为特定任务提供强大的性能。
功能
- 提示生成:使用强大的语言模型自动创建图像提示。提供的类名:["horse", "robot"]生成的提示:“一匹马和一个机器人在宁静的牧场中和平共处的照片。”
- 图像生成:使用最先进的生成模型生成合成数据集。

- 数据集注释:利用基础模型自动标记数据集。

- 边缘模型训练:训练用于边缘部署的高效小型神经网络。(不属于此库)
安装
Command Line
1pip install datadreamer可用模型
| 模型类别 | 模型名称 | 描述/注意事项 |
|---|---|---|
| 提示生成 | Mistral-7B-Instruct-v0.1 | 语义丰富的提示 |
| TinyLlama-1.1B-Chat-v1.0 | 小型语言模型 | |
| 简单随机生成器 | 连接随机选择的对象名称 | |
| 图像生成 | SDXL-1.0 | 慢速且准确(1024x1024 图像) |
| SDXL-Turbo | 快速且准确性较低(512x512 图像) | |
| SDXL-Lightning | 快速且准确(1024x1024 图像) | |
| 图像注释 | OWLv2 | 开放词汇对象检测器 |
示例
Command Line
1datadreamer --save_dir path/to/save_directory --class_names person moon robot --prompts_number 20 --prompt_generator simple --num_objects_range 1 3 --image_generator sdxl-turbo有用提示
- 批量生成:为了加快生成过程,请考虑使用
--batch_size_prompt、--batch_size_image和--batch_size_annotation参数增加批量大小。如果内存不足,请尝试减小批量大小。 - 更好的图像质量:为了获得更好的图像质量,请考虑调整以下参数:
--image_generator:选择具有更高图像质量的模型。SDXL-Turbo -> SDXL-Lightning -> SDXL(从最快到最慢,从最低质量到最高质量)。--use_image_tester和--image_tester_patience:启用迭代图像生成并使用 CLIP 模型选择最佳图像。考虑增加耐心以获得更好的结果。
- 每张图像的对象数量:要生成具有不同对象数量的图像,请使用
--num_objects_range参数。例如,--num_objects_range 1 3生成包含 1、2 或 3 个对象的图像。由于当前模型生成复杂场景的能力有限,不建议使用高于 3 的值。 - 提示生成:要生成更多样化的提示,请考虑使用
--prompt_generator tiny生成器,它使用小型语言模型生成提示。