loaders
最后更新
luxonis_ml.data.loadersLDF 样本的数据集加载器。此包负责运行时样本访问。LuxonisLoader 读取一个或多个数据集拆分,解析媒体路径,按任务键组装标签,可选地应用增强功能,并以适合训练管道的形状返回数据。目录基本用法
Python
1from luxonis_ml.data import LuxonisDataset, LuxonisLoader
2
3dataset = LuxonisDataset("parking_lot")
4loader = LuxonisLoader(dataset, view="train")
5
6sample = loader[0]
7
8images = sample.images
9labels = sample.labels
10metadata = sample.metadata"image" 源名称;多源数据集保留记录 "files" 映射中的名称。LoaderOutput.metadata 包含来自 DatasetRecord.sample_metadata 的记录级元数据。默认情况下,它还包括一个从源名称到加载文件基本名称的 "filenames" 映射。当代码只需要输入和标签时,传统的两值解包仍然有效:Python
1image_or_images, labels = loader[0]loader[0].metadata 访问它。构造函数选项
view用于加载一个拆分或拆分列表。augmentation_engine和augmentation_config用于启用增强功能。height、width和keep_aspect_ratio用于定义增强引擎所需的调整大小行为。color_space用于请求全局或按源名称请求"RGB"、"BGR"或"GRAY"输出。seed用于可重现的随机增强。exclude_empty_annotations用于省略空标签。keep_categorical_as_strings用于保留分类元数据值。update_mode用于控制远程数据集的媒体同步。filter_task_names用于仅加载选定的任务组。autopopulate_metadata用于在 LoaderOutput.metadata 中包含自动元数据,例如源文件名。
ALL 覆盖本地媒体,MISSING 仅下载本地无法解析的媒体。标签键
labels 字典以 "task_name/task_type" 为键。如果数据集是在没有任务名称的情况下创建的,则默认任务名称为空字符串,键以 "/" 开头。示例
Pycon
1>>> task_name = "detection"
2>>> task_type = "boundingbox"
3>>> f"{task_name}/{task_type}"
4'detection/boundingbox'
5>>> f"{''}/metadata/camera_angle"
6'/metadata/camera_angle'"task_name/metadata/key",因此每个元数据字段都可以独立使用。样本元数据不使用标签键。它通过 LoaderOutput.metadata 单独返回:Python
1sample = loader[0]
2print(sample.metadata)
3
4# {
5# "filenames": {"image": "frame_001.jpg"},
6# "record_id": 123,
7# "camera": "left",
8# }autopopulate_metadata=False 以仅返回存储的元数据:Python
1loader = LuxonisLoader(dataset, autopopulate_metadata=False)
2metadata = loader[0].metadata"augmentations" 映射,从配置的增强路径到引擎选择的运行时参数。与 "filenames" 不同,无论 autopopulate_metadata 如何,它都会被添加,因为它描述的是返回的数组而不是数据集记录:Python
1{
2 "record_id": 123,
3 "augmentations": {
4 "HorizontalFlip": {},
5 "OneOf/RandomBrightnessContrast": {"alpha": 1.02, "beta": -0.03},
6 },
7}"batch_augmentation_metadata" 中:Python
1{
2 "record_id": 123,
3
4 "batch_augmentation_metadata": [
5 {
6 "input_index": 0,
7 "sample_metadata": {"record_id": 123},
8 },
9 {
10 "input_index": 1,
11 "sample_metadata": {"record_id": 456},
12 },
13 ],
14}annotation["metadata"] 下的值被转换为标签任务,例如 "detection/metadata/weather"。输出布局
| 任务类型 | 形状或结构 | 含义 |
|---|---|---|
classification | (C) | 独热类向量。 |
boundingbox | (N, 5) | 行是 [c, x, y, w, h]。 |
segmentation | (C, H, W) | 通道优先布局的独热语义掩码。 |
instance_segmentation | (N, H, W) | 每个实例一个二进制掩码。 |
keypoints | (N, 3K) | 展平的 (x, y, v) 关键点三元组。 |
metadata | 原始值结构。 | 按元数据字段名称键入的值。 |
另请参阅
luxonis_ml.ldf.annotation 用于转换为这些加载器输出的摄取模式。
样本元数据
DatasetRecord.sample_metadata,并作为 LoaderOutput.metadata 提供。Python
1sample = loader[0]
2
3sample.metadata
4# {
5# "filenames": {"image": "frame_001.jpg"},
6# "record_id": 123,
7# "camera": "left",
8# }autopopulate_metadata=False 以仅返回存储的元数据:Python
1loader = LuxonisLoader(dataset, autopopulate_metadata=False)
2metadata = loader[0].metadata"augmentations" 映射,从配置的增强路径到引擎选择的运行时参数。与 "filenames" 不同,无论 autopopulate_metadata 如何,它都会被添加,因为它描述的是返回的数组而不是数据集记录:Python
1{
2 "record_id": 123,
3 "augmentations": {
4 "HorizontalFlip": {},
5 "OneOf/RandomBrightnessContrast": {"alpha": 1.02, "beta": -0.03},
6 },
7}"batch_augmentation_metadata" 中:Python
1{
2 "record_id": 123,
3
4 "batch_augmentation_metadata": [
5 {
6 "input_index": 0,
7 "sample_metadata": {"record_id": 123},
8 },
9 {
10 "input_index": 1,
11 "sample_metadata": {"record_id": 456},
12 },
13 ],
14}annotation["metadata"] 下的值被转换为标签任务,例如 "detection/metadata/weather"。运行时选项
- 通过
view选择的视图; - 通过
color_space进行颜色空间转换; - 通过
height和width进行可选调整大小; - 通过
keep_aspect_ratio保持纵横比; - 通过
augmentation_engine和augmentation_config构建增强引擎; - 通过
update_mode进行远程媒体同步; - 通过
exclude_empty_annotations过滤空注释; - 通过
keep_categorical_as_strings进行元数据类别编码; - 通过
filter_task_names进行任务过滤。
Python
1loader = LuxonisLoader(
2 dataset,
3 view=["train", "val"],
4 height=640,
5 width=640,
6 keep_aspect_ratio=True,
7 color_space="RGB",
8 filter_task_names=["detection"],
9 exclude_empty_annotations=True,
10)重要
增强功能需要输出
height 和 width,以便加载器可以构建确定性调整大小阶段。另请参阅
luxonis_ml.data.augmentations 用于增强配置和目标转换详细信息。