LuxonisParser
最后更新
概述
LuxonisParser 将支持的第三方数据集布局转换为 Luxonis 数据格式 (LDF)。它验证输入结构,在可能的情况下检测格式,转换其注释,并创建带有拆分定义的 LuxonisDataset。从公共数据包导入:Python
1from luxonis_ml.data import LuxonisParser
2
3dataset = LuxonisParser(
4 "path/to/dataset",
5 dataset_name="my_dataset",
6).parse()DatasetType:Python
1from luxonis_ml.data import LuxonisParser
2from luxonis_ml.enums import DatasetType
3
4dataset = LuxonisParser(
5 "path/to/yolo_dataset",
6 dataset_name="people_pose",
7 dataset_type=DatasetType.YOLOV8KEYPOINTS,
8 task_name="pose",
9).parse()task_name 还可以将类映射到任务组:Python
1parser = LuxonisParser(
2 "path/to/dataset",
3 task_name={
4 "head": "head_pose",
5 "neck": "head_pose",
6 "torso": "body_pose",
7 "leg": "body_pose",
8 },
9)输入位置
- 本地目录
- 本地 ZIP 存档
- Google Cloud Storage 中的
gs://...或gcs://...路径 - S3 兼容存储中的
s3://...路径 roboflow://workspace/project/version/format数据集引用ultralytics://username/datasets/slugUltralytics 平台引用
?v=<version> 选择特定的 Ultralytics 数据集版本:Python
1dataset = LuxonisParser(
2 "ultralytics://username/datasets/people?v=3",
3 dataset_name="people",
4).parse()ROBOFLOW_API_KEY;Ultralytics 平台源需要 ULTRALYTICS_API_KEY。Google Cloud Storage 和 S3 使用 LuxonisFileSystem 支持的凭据。使用 save_dir 选择远程源在解析前下载的位置。ZIP 存档可以在其根目录中包含数据集布局。当存档有一个顶级目录且该目录包含可识别的数据集布局时,解析器会自动将其用作数据集根目录。
支持的格式
| 格式 | DatasetType 值 | 导入的注释 |
|---|---|---|
| COCO JSON、FiftyOne 或 Roboflow 布局 | coco | 边界框、语义和实例分割、关键点 |
| Pascal VOC XML | voc | 边界框 |
| YOLO Darknet TXT | darknet | 边界框 |
| YOLOv4 PyTorch TXT | yolov4 | 边界框 |
| MT YOLOv6 | yolov6 | 边界框 |
| YOLOv8-v12 边界框 | yolov8 | 边界框 |
| YOLOv8-v12 实例分割 | yolov8instancesegmentation | 实例分割 |
| YOLOv8-v12 关键点 | yolov8keypoints | 关键点 |
| Ultralytics NDJSON 检测 | ultralytics-ndjson | 边界框 |
| Ultralytics NDJSON 实例分割 | ultralytics-ndjson-instancesegmentation | 实例分割 |
| Ultralytics NDJSON 关键点 | ultralytics-ndjson-keypoints | 关键点 |
| CreateML JSON | createml | 边界框 |
| TensorFlow 对象检测 CSV | tfcsv | 边界框 |
| Unity SOLO | solo | 边界框、语义和实例分割、关键点 |
| 分类目录 | clsdir | 分类 |
| FiftyOne 分类 | fiftyone-classification | 分类 |
| 分割掩码目录 | segmask | 语义分割 |
| 原生 LDF 导出 | native | 原生解析器支持的 LDF 记录 |
预期目录布局
valid 和 validation)在生成的 LDF 数据集中标准化为 val。COCO JSON
data/ 中,注释保存在 labels.json 中:Plain Text
1dataset_dir/
2├── train/
3│ ├── data/
4│ │ ├── img1.jpg
5│ │ └── img2.jpg
6│ └── labels.json
7├── validation/
8│ ├── data/
9│ └── labels.json
10└── test/
11 ├── data/
12 └── labels.json_annotations.coco.json 旁边:Plain Text
1dataset_dir/
2├── train/
3│ ├── img1.jpg
4│ ├── img2.jpg
5│ └── _annotations.coco.json
6├── valid/
7└── test/YOLOv8-v12
images/ 和 labels/:Plain Text
1dataset_dir/
2├── train/
3│ ├── images/
4│ │ ├── img1.jpg
5│ │ └── img2.jpg
6│ └── labels/
7│ ├── img1.txt
8│ └── img2.txt
9├── valid/
10├── test/
11└── data.yamlimages/ 和 labels/ 目录下:Plain Text
1dataset_dir/
2├── images/
3│ ├── train/
4│ ├── val/
5│ └── test/
6├── labels/
7│ ├── train/
8│ ├── val/
9│ └── test/
10└── data.yamlUltralytics NDJSON
.ndjson 清单。它的第一行是带有 class_names 的数据集头;随后的每一行描述一个图像及其拆分和注释。Plain Text
1dataset_dir/
2├── dataset.ndjson
3├── train/
4├── val/
5└── test/LuxonisParser。分类目录
Plain Text
1dataset_dir/
2├── train/
3│ ├── car/
4│ │ ├── img1.jpg
5│ │ └── img2.jpg
6│ └── motorcycle/
7├── valid/
8└── test/info.json 文件。分割掩码目录
.jpg 图像都有一个匹配的 _mask.png 文件。_classes.csv 将灰度像素值映射到类名:Plain Text
1dataset_dir/
2├── train/
3│ ├── img1.jpg
4│ ├── img1_mask.png
5│ └── _classes.csv
6├── valid/
7└── test/Csv
1Pixel Value,Class
20,background
31,car
42,motorcycle原生 LDF 导出
LuxonisDataset.export(..., dataset_type=DatasetType.NATIVE) 生成的布局:Plain Text
1dataset_dir/
2├── metadata.json
3├── train/
4│ ├── annotations.json
5│ └── images/
6├── val/
7│ ├── annotations.json
8│ └── images/
9└── test/
10 ├── annotations.json
11 └── images/拆分行为
train、val 和 test。使用总和为 1.0 的浮点比例覆盖分配:Python
1dataset = parser.parse(
2 split_ratios={"train": 0.7, "val": 0.2, "test": 0.1}
3)Python
1dataset = parser.parse(
2 split_ratios={"train": 1000, "val": 100, "test": 50}
3)命令行界面
luxonis_ml data parse 进行相同的工作流程:Command Line
1luxonis_ml data parse path/to/dataset --name my_dataset
2luxonis_ml data parse path/to/yolo_dataset \
3 --name people_pose \
4 --type yolov8keypoints \
5 --task-name pose
6luxonis_ml data parse path/to/dataset \
7 --train 0.8 \
8 --val 0.1 \
9 --test 0.1
10luxonis_ml data parse path/to/dataset \
11 --train 1000 \
12 --val 100 \
13 --test 50luxonis_ml data parse --help 以获取存储选择、下载位置、格式选择、警告报告和删除选项。