DepthAI v2 has been superseded by DepthAI v3. You are viewing legacy documentation.
此页面由 AI 自动翻译。查看英文原版
最后更新

本页目录

  • 快速入门
  • 概述
  • 功能
  • 安装
  • 可用模型
  • 示例
  • 有用提示
Claude CodeCodexCursor
Luxonis 智能体工具包为你常用的编程智能体加载 Luxonis 上下文与技能,更快地基于 OAK 开发应用。
安装工具包

DataDreamer®

最后更新
DataDreamer examples

快速入门

DataDreamer 使您能够使用生成式 AI 和基础计算机视觉模型从头开始创建带注释的数据集。这使您能够训练自己的模型用于边缘 AI 应用,例如对象检测,而无需真实世界数据。要使用自定义类生成数据集,您只需执行两个命令:
Command Line
1pip install datadreamer
2datadreamer --class_names person moon robot

概述

DataDreamer scheme
DataDreamer 是一个先进的工具包,旨在促进边缘 AI 模型的开发,无论初始数据可用性如何。DataDreamer 的独特功能包括:
  • 合成数据生成:消除对大量 AI 训练数据集的依赖。DataDreamer 使开发人员能够利用先进的 AI 算法从头开始生成合成数据集,这些算法能够生成高质量、多样化的图像。
  • 从基础模型中提取知识:DataDreamer 利用复杂预训练 AI 模型中嵌入的潜在知识。这种能力允许将这些“基础模型”的广泛理解转移到更小、定制的模型中,从而显著增强其功能。
  • 高效且强大的模型:DataDreamer 的主要目标是创建紧凑的模型,这些模型既能高效地集成到任何设备中,又能为特定任务提供强大的性能。

功能

  • 提示生成:使用强大的语言模型自动创建图像提示。提供的类名:["horse", "robot"]生成的提示:“一匹马和一个机器人在宁静的牧场中和平共处的照片。”
  • 图像生成:使用最先进的生成模型生成合成数据集。
generated image
  • 数据集注释:利用基础模型自动标记数据集。
annotated image
  • 边缘模型训练:训练用于边缘部署的高效小型神经网络。(不属于此库)

安装

您可以下载它或使用 pip 安装:
Command Line
1pip install datadreamer

可用模型

模型类别模型名称描述/注意事项
提示生成Mistral-7B-Instruct-v0.1语义丰富的提示
TinyLlama-1.1B-Chat-v1.0小型语言模型
简单随机生成器连接随机选择的对象名称
图像生成SDXL-1.0慢速且准确(1024x1024 图像)
SDXL-Turbo快速且准确性较低(512x512 图像)
SDXL-Lightning快速且准确(1024x1024 图像)
图像注释OWLv2开放词汇对象检测器

示例

Command Line
1datadreamer --save_dir path/to/save_directory --class_names person moon robot --prompts_number 20 --prompt_generator simple --num_objects_range 1 3 --image_generator sdxl-turbo
此命令为指定对象生成图像,并将其及其注释保存在给定目录中。该脚本允许通过各种参数自定义生成过程,以适应不同的需求和硬件配置。

有用提示

  • 批量生成:为了加快生成过程,请考虑使用 --batch_size_prompt、--batch_size_image 和 --batch_size_annotation 参数增加批量大小。如果内存不足,请尝试减小批量大小。
  • 更好的图像质量:为了获得更好的图像质量,请考虑调整以下参数:
    • --image_generator:选择具有更高图像质量的模型。SDXL-Turbo -> SDXL-Lightning -> SDXL(从最快到最慢,从最低质量到最高质量)。
    • --use_image_tester 和 --image_tester_patience:启用迭代图像生成并使用 CLIP 模型选择最佳图像。考虑增加耐心以获得更好的结果。
  • 每张图像的对象数量:要生成具有不同对象数量的图像,请使用 --num_objects_range 参数。例如,--num_objects_range 1 3 生成包含 1、2 或 3 个对象的图像。由于当前模型生成复杂场景的能力有限,不建议使用高于 3 的值。
  • 提示生成:要生成更多样化的提示,请考虑使用 --prompt_generator tiny 生成器,它使用小型语言模型生成提示。