此页面由 AI 自动翻译。查看英文原版
最后更新

本页目录

  • 类
  • BaseDataset
  • 属性
  • DatasetIterator
  • DATASETS_REGISTRY
Claude CodeCodexCursor
Luxonis 智能体工具包为你常用的编程智能体加载 Luxonis 上下文与技能,更快地基于 OAK 开发应用。
安装工具包

base_dataset

最后更新
Python API: luxonis_ml.data.datasets.base_dataset

类

BaseDataset

Luxonis MLOps 生态系统中数据集的基类。

方法

add
Python
1def add(generator: DatasetIterator, batch_size: int = 1000000):
将注释写入 Parquet 文件。参数
  • generator (DatasetIterator): 生成 DatasetRecord 实例或可转换为 DatasetRecord 的字典的迭代器。
  • batch_size (int): 处理前缓冲的记录数。值越低,峰值内存使用量越少。
delete_dataset
Python
1def delete_dataset(self):
删除属于数据集的本地文件。
exists
Python
1def exists(dataset_name: str) -> bool:
检查数据集是否存在。参数
  • dataset_name (str): 要检查的数据集名称。
返回
  • bool: 如果数据集存在,则为 True,否则为 False。
get_class_names
Python
1def get_class_names(self) -> dict[str, list[str]]:
返回每个任务的类名。返回
  • 按任务名称键入的类名:
    Python
    1{
    2    "vehicles": ["red", "green", "blue"],
    3    "brands": ["audi", "bmw", "mercedes"],
    4}
get_classes
Python
1def get_classes(self) -> dict[str, dict[str, int]]:
获取每个任务的类名和 ID。返回
  • 按任务名称分组的从类名到类 ID 的映射:
    Python
    1{
    2    "color": {"red": 0, "green": 1, "blue": 2},
    3    "brand": {"audi": 0, "bmw": 1, "mercedes": 2},
    4}
get_n_classes
Python
1def get_n_classes(self) -> dict[str, int]:
返回每个任务的类数。返回
  • dict[str, int]: 从任务名称到类计数的映射。
get_n_keypoints
Python
1def get_n_keypoints(self) -> dict[str, int]:
返回每个任务的关键点数。返回
  • dict[str, int]: 按任务名称键入的关键点数。
get_skeletons
Python
1def get_skeletons(self) -> dict[str, tuple[list[str], list[tuple[int, int]]]]:
返回每个任务的关键点骨架。返回
  • dict[str, tuple[list[str], list[tuple[int, int]]]]: 按任务名称键入的关键点标签和边。
get_source_names
Python
1def get_source_names(self) -> list[str]:
返回数据集的输入源名称。返回
  • list[str]: 用于标识输入数据的源名称。
get_task_names
Python
1def get_task_names(self) -> list[str]:
返回数据集的任务名称。这等同于 get_tasks,但只返回任务名称。返回
  • list[str]: 任务名称。
get_tasks
Python
1def get_tasks(self) -> dict[str, list[str]]:
返回任务名称和任务类型。返回
  • dict[str, list[str]]: 按任务名称键入的任务类型。
make_splits
Python
1def make_splits(splits: Mapping[str, Sequence[PathType]] | Mapping[str, float] | tuple[float, float, float] | None = None, *, replace_old_splits: bool = False):
为训练、验证和测试创建数据集拆分。参数
  • splits (Mapping[str, Sequence[PathType]] | Mapping[str, float] | tuple[float, float, float] | None): 定义拆分的映射。可以是以下之一:
    • 拆分名称到文件路径列表的映射。
    • 拆分名称到比率的映射。
    • 训练、验证和测试拆分的三个比率的元组。 比率是 0 到 1 之间的数字,比率之和为 1。1 和 1.0 都有效。
  • replace_old_splits (bool): 是否用新拆分替换旧拆分。如果为 False(默认),则将新拆分添加到现有拆分中。如果为 True,则首先丢弃现有拆分。
引发
  • TypeError: 如果映射值既不是比率也不是文件路径列表。该方法会警告并跳过文件路径列表的每个不是文件路径的元素。
  • ValueError: 如果提供了 splits 但为空。
  • ValueError: 如果比率超出 0 到 1 的范围或不等于 1。
  • ValueError: 如果使用了拆分比率,但所有数据都已属于一个拆分,而 replace_old_splits 为 False。
  • FileNotFoundError: 如果数据集为空。
set_classes
Python
1def set_classes(classes: list[str] | dict[str, int], task: str | None = None):
为一个或多个任务设置类。参数
  • classes (list[str] | dict[str, int]): 类名,或按类名键入的类 ID。如果提供了类名,则 ID 从 0 开始按字母顺序分配。名为 "background" 的类始终分配 ID 0。
  • task (str | None): 要更新的可选任务。如果省略,则更新所有任务。
set_skeletons
Python
1def set_skeletons(labels: list[str] | None = None, edges: list[tuple[int, int]] | None = None, task: str | None = None):
为使用关键点的任务设置关键点骨架语义。例如:
Python
1dataset.set_skeletons(
2    labels=["right hand", "right shoulder", ...],
3    edges=[[0, 1], [4, 5], ...]
4)
参数
  • labels (list[str] | None): 可选的关键点名称。
  • edges (list[tuple[int, int]] | None): 关键点之间的可选边。
  • task (str | None): 要更新的可选任务。如果省略,则更新所有关键点任务。
引发
  • ValueError: 如果既未提供 labels 也未提供 edges。
set_tasks
Python
1def set_tasks(tasks: dict[str, list[str]]):
设置数据集任务。参数
  • tasks (dict[str, list[str]]): 从任务名称到任务类型的映射。
update_source
Python
1def update_source(source: LuxonisSource):
更新数据集源定义。参数
  • source (LuxonisSource): 要存储的源定义。

属性

identifier
数据集的唯一标识符。
version
底层 LDF 的版本。

属性

DatasetIterator

DATASETS_REGISTRY