data
最后更新
luxonis_ml.dataLuxonis 数据格式工作流的公共入口点。luxonis_ml.data 包汇集了用于创建、转换、加载和增强 Luxonis 数据格式 (LDF) 数据集的高级 API。LDF 是 Luxonis 训练堆栈中用于视觉数据集的数据集表示,具有一个或多个媒体源、任务组、注释类型、元数据字段、本地文件和远程对象存储。此模块有意作为包的映射,而不是每个详细合同的规范主页。详细信息位于拥有它们的实现旁边:- luxonis_ml.data.datasets 记录数据集生命周期、存储布局、拆分、克隆、合并、远程同步和数据集插件。
- luxonis_ml.ldf.annotation 记录 DatasetRecord、Detection、Category 和所有注释负载模式。
- luxonis_ml.data.parsers 记录 LuxonisParser、支持的外部格式、每个格式预期的目录布局、原生 LDF 布局、拆分比率模式和解析器特定注意事项。
- luxonis_ml.data.loaders 记录 LuxonisLoader、加载器输出、标签键约定、颜色空间、过滤和预处理。
- luxonis_ml.data.augmentations 记录 AlbumentationsEngine、转换顺序、调整大小、批量转换和自定义转换。
核心工作流
- 创建或打开一个 LuxonisDataset。
- 从可迭代对象添加记录或使用 LuxonisParser 解析外部数据集。
- 定义数据集拆分。
- 使用 LuxonisLoader 加载一个或多个拆分。
- 可选地通过 AlbumentationsEngine 应用增强。
- 可选地克隆、合并、导出、推送、拉取、检查、清理或删除数据集。
| API | 何时使用 | 更多细节 |
|---|---|---|
| LuxonisDataset | 创建、修改、拆分、克隆、合并、导出、同步或删除 LDF 数据集。 | luxonis_ml.data.datasets |
| LuxonisParser | 将支持的外部数据集布局转换为 LDF。 | luxonis_ml.data.parsers |
| LuxonisLoader | 从一个或多个数据集拆分迭代图像类输入、标签和样本元数据。 | luxonis_ml.data.loaders |
| AlbumentationsEngine | 在加载样本时应用运行时图像和标签增强。 | luxonis_ml.data.augmentations |
示例
最小流从数据集开始,然后构建加载器。
Python
1from luxonis_ml.data import LuxonisDataset, LuxonisLoader
2
3dataset = LuxonisDataset("parking_lot")
4loader = LuxonisLoader(dataset, view="train")
5
6for sample in loader:
7 images = sample.images
8 labels = sample.labels
9 metadata = sample.metadata注意
从 luxonis_ml.data 导入是常见工作流推荐的公共 API。当您需要特定于实现的模型(例如注释模式、解析器类或加载器基类)时,从较低模块导入。
教程数据集
parking_lot 数据集,其中包含汽车和摩托车。它包含对象检测框、实例关键点、用于颜色/类型/品牌/二进制车辆类别的语义分割掩码,以及适用于尝试完整 LDF 工作流的元数据。该数据集可用于练习任务命名约定:- 具有不同骨架的类别的关键点注释应分为任务组,例如
"instance_keypoints_car"和"instance_keypoints_motorbike"; - 语义分割通常放置在其自己的任务组中,例如
"segmentation",因为加载器会为分割任务添加背景类。
https://github.com/luxonis/ai-tutorials/tree/main/training。这些示例使用的原始 parking_lot 样本存档可在 https://drive.google.com/uc?export=download&id=1OAuLlL_4wRSzZ33BuxM6Uw2QYYgv_19N 获取。记录、任务和标签
示例
两种支持的媒体键样式易于区分。
Pycon
1>>> single_source = {"file": "image.jpg", "annotation": None}
2>>> multi_source = {"files": {"rgb": "rgb.png", "depth": "depth.png"}}
3>>> "file" in single_source, "files" in multi_source
4(True, True)"task_name/task_type"。如果未提供任务名称,则任务名称为空字符串,键以 "/" 开头。示例
Pycon
1>>> task_name = "detection"
2>>> task_type = "boundingbox"
3>>> f"{task_name}/{task_type}"
4'detection/boundingbox'
5>>> f"{''}/segmentation"
6'/segmentation'另请参阅
luxonis_ml.ldf.annotation 用于精确的记录模型、注释负载模式、标准化坐标约定、元数据类别和实例关联规则。
使用生成器添加记录
instance_id 下生成一个对象的边界框和关键点。它在单独的任务名称下生成每个分割掩码。Python
1import json
2from pathlib import Path
3
4import cv2
5import numpy as np
6
7from luxonis_ml.data import LuxonisDataset
8
9dataset_root = Path("data/parking_lot")
10
11
12def generator():
13 for annotation_file in dataset_root.rglob("annotations.json"):
14 data = json.loads(annotation_file.read_text())
15 width = data["dimensions"]["width"]
16 height = data["dimensions"]["height"]
17 image = str(annotation_file.parent / data["filename"])
18
19 for instance_id, box in data["BoundingBoxAnnotation"].items():
20 x, y = box["origin"]
21 w, h = box["dimension"]
22 yield {
23 "file": image,
24 "task_name": f"instance_keypoints_{box['labelName']}",
25 "annotation": {
26 "class": box["labelName"],
27 "instance_id": int(instance_id),
28 "boundingbox": {
29 "x": x / width,
30 "y": y / height,
31 "w": w / width,
32 "h": h / height,
33 },
34 },
35 }
36
37 for instance_id, pose in data["KeypointsAnnotation"].items():
38 yield {
39 "file": image,
40 "task_name": f"instance_keypoints_{pose['labelName']}",
41 "annotation": {
42 "instance_id": int(instance_id),
43 "keypoints": {
44 "keypoints": [
45 (
46 keypoint["location"][0] / width,
47 keypoint["location"][1] / height,
48 keypoint["visibility"],
49 )
50 for keypoint in pose["keypoints"]
51 ]
52 },
53 },
54 }
55
56 masks = data["VehicleTypeSegmentation"]
57 mask_path = annotation_file.parent / masks["filename"]
58 mask = cv2.cvtColor(cv2.imread(str(mask_path)), cv2.COLOR_BGR2RGB)
59
60 for instance in masks["instances"]:
61 color = np.array(instance["pixelValue"], dtype=np.uint8)
62 yield {
63 "file": image,
64 "task_name": "segmentation",
65 "annotation": {
66 "class": instance["labelName"],
67 "segmentation": {
68 "mask": (mask == color)
69 .all(axis=-1)
70 .astype(np.uint8)
71 },
72 },
73 }
74
75
76dataset = LuxonisDataset("parking_lot")
77dataset.add(generator())注意
共享的
instance_id 将一个对象的框和关键点链接起来。为每个类的关键点提供单独的任务名称,因为加载器将一个任务的关键点堆叠到一个数组中。定义拆分
Python
1dataset.make_splits({"train": 0.7, "val": 0.2, "test": 0.1})
2
3dataset.make_splits(
4 {
5 "train": ["image_1.jpg", "image_2.jpg"],
6 "val": ["image_3.jpg"],
7 "test": ["image_4.jpg"],
8 }
9)replace_old_splits=True 以删除旧拆分。稍后按比率调用将再次拆分每条记录。稍后按文件列表调用仅拆分您命名的文件。注释负载
- 通过
"class"值进行分类; - 通过
"boundingbox"进行归一化xywh边界框; - 通过
"keypoints"进行归一化(x, y, visibility)关键点三元组; - 通过多边形点、二进制掩码或
"segmentation"下的 COCO RLE 值进行语义分割掩码; - 通过
"instance_segmentation"下的相同掩码编码进行实例分割掩码; - 通过
"array"进行任意.npy数组目标; - 通过
"metadata"进行灵活的元数据值。
instance_id,以便可以可靠地关联框、关键点和实例掩码。另请参阅
luxonis_ml.ldf.annotation 用于示例、精确的字段名称、掩码编码细节、元数据类别和加载器输出形状。
命令行界面
luxonis_ml data 提供数据集操作。CLI 镜像了用于解析、列出、检查、验证、清理、导出、同步、克隆、合并和删除数据集的 Python API。Command Line
1luxonis_ml data --help
2luxonis_ml data parse --help
3luxonis_ml data parse <data_directory>
4luxonis_ml data ls
5luxonis_ml data info <dataset_name>
6luxonis_ml data inspect <dataset_name>
7luxonis_ml data health <dataset_name>
8luxonis_ml data sanitize <dataset_name>
9luxonis_ml data export <dataset_name> --type native
10luxonis_ml data export <dataset_name> --type coco
11luxonis_ml data export <dataset_name> --type ultralyticsndjson
12luxonis_ml data push <dataset_name>
13luxonis_ml data pull <dataset_name>
14luxonis_ml data clone <dataset_name> <new_name>
15luxonis_ml data merge <source_name> <target_name>
16luxonis_ml data delete <dataset_name>另请参阅
luxonis_ml.data.main 用于命令实现细节,以及 luxonis_ml.data.parsers 用于每个支持格式的目录布局,包括
--type native 写入的本机 LDF 布局。扩展点
dataset_plugins 和 loader_plugins 组中公开入口点。此模块在导入时加载这些插件,并将它们注册到 DATASETS_REGISTRY 和 LOADERS_REGISTRY 中。