# base_dataset

Python API: `luxonis_ml.data.datasets.base_dataset`

## 类

### BaseDataset

Luxonis MLOps 生态系统中数据集的基类。

#### 方法

##### add

```python
def add(generator: DatasetIterator, batch_size: int = 1000000):
```

将注释写入 Parquet 文件。

参数

 * `generator` (`DatasetIterator`): 生成 `DatasetRecord` 实例或可转换为 `DatasetRecord` 的字典的迭代器。
 * `batch_size` (`int`): 处理前缓冲的记录数。值越低，峰值内存使用量越少。

##### delete_dataset

```python
def delete_dataset(self):
```

删除属于数据集的本地文件。

##### exists

```python
def exists(dataset_name: str) -> bool:
```

检查数据集是否存在。

参数

 * `dataset_name` (`str`): 要检查的数据集名称。

返回

 * `bool`: 如果数据集存在，则为 `True`，否则为 `False`。

##### get_class_names

```python
def get_class_names(self) -> dict[str, list[str]]:
```

返回每个任务的类名。

返回

 * `按任务名称键入的类名`:```python
   {
       "vehicles": ["red", "green", "blue"],
       "brands": ["audi", "bmw", "mercedes"],
   }
   ```

##### get_classes

```python
def get_classes(self) -> dict[str, dict[str, int]]:
```

获取每个任务的类名和 ID。

返回

 * `按任务名称分组的从类名到类 ID 的映射`:```python
   {
       "color": {"red": 0, "green": 1, "blue": 2},
       "brand": {"audi": 0, "bmw": 1, "mercedes": 2},
   }
   ```

##### get_n_classes

```python
def get_n_classes(self) -> dict[str, int]:
```

返回每个任务的类数。

返回

 * `dict[str, int]`: 从任务名称到类计数的映射。

##### get_n_keypoints

```python
def get_n_keypoints(self) -> dict[str, int]:
```

返回每个任务的关键点数。

返回

 * `dict[str, int]`: 按任务名称键入的关键点数。

##### get_skeletons

```python
def get_skeletons(self) -> dict[str, tuple[list[str], list[tuple[int, int]]]]:
```

返回每个任务的关键点骨架。

返回

 * `dict[str, tuple[list[str], list[tuple[int, int]]]]`: 按任务名称键入的关键点标签和边。

##### get_source_names

```python
def get_source_names(self) -> list[str]:
```

返回数据集的输入源名称。

返回

 * `list[str]`: 用于标识输入数据的源名称。

##### get_task_names

```python
def get_task_names(self) -> list[str]:
```

返回数据集的任务名称。

这等同于
[get_tasks](/software-v3/ai-inference/model-source/training/luxonis-ml/luxonis-ml-api-reference/data/datasets/base_dataset.md)，但只返回任务名称。

返回

 * `list[str]`: 任务名称。

##### get_tasks

```python
def get_tasks(self) -> dict[str, list[str]]:
```

返回任务名称和任务类型。

返回

 * `dict[str, list[str]]`: 按任务名称键入的任务类型。

##### make_splits

```python
def make_splits(splits: Mapping[str, Sequence[PathType]] | Mapping[str, float] | tuple[float, float, float] | None = None, *, replace_old_splits: bool = False):
```

为训练、验证和测试创建数据集拆分。

> **注意**
> 尽管 `"train"`、`"val"` 和 `"test"` 是传统的拆分名称，但您可以通过向 `splits` 参数提供映射来使用任何您想要的拆分名称。这对于组合来自多个源的记录（`"train_real"`、`"train_synth"`）或创建完全自定义的拆分非常有用。

参数

 * `splits` (`Mapping[str, Sequence[PathType]] | Mapping[str, float] | tuple[float, float, float] | None`): 定义拆分的映射。可以是以下之一： *
   拆分名称到文件路径列表的映射。
    * 拆分名称到比率的映射。
    * 训练、验证和测试拆分的三个比率的元组。 比率是 0 到 1 之间的数字，比率之和为 1。`1` 和 `1.0` 都有效。
 * `replace_old_splits` (`bool`): 是否用新拆分替换旧拆分。如果为 `False`（默认），则将新拆分添加到现有拆分中。如果为 `True`，则首先丢弃现有拆分。

引发

 * `TypeError`: 如果映射值既不是比率也不是文件路径列表。该方法会警告并跳过文件路径列表的每个不是文件路径的元素。
 * `ValueError`: 如果提供了 `splits` 但为空。
 * `ValueError`: 如果比率超出 0 到 1 的范围或不等于 1。
 * `ValueError`: 如果使用了拆分比率，但所有数据都已属于一个拆分，而 `replace_old_splits` 为 `False`。
 * `FileNotFoundError`: 如果数据集为空。

##### set_classes

```python
def set_classes(classes: list[str] | dict[str, int], task: str | None = None):
```

为一个或多个任务设置类。

参数

 * `classes` (`list[str] | dict[str, int]`): 类名，或按类名键入的类 ID。如果提供了类名，则 ID 从 0 开始按字母顺序分配。名为 `"background"` 的类始终分配 ID 0。
 * `task` (`str | None`): 要更新的可选任务。如果省略，则更新所有任务。

##### set_skeletons

```python
def set_skeletons(labels: list[str] | None = None, edges: list[tuple[int, int]] | None = None, task: str | None = None):
```

为使用关键点的任务设置关键点骨架语义。

例如：

```python
dataset.set_skeletons(
    labels=["right hand", "right shoulder", ...],
    edges=[[0, 1], [4, 5], ...]
)
```

参数

 * `labels` (`list[str] | None`): 可选的关键点名称。
 * `edges` (`list[tuple[int, int]] | None`): 关键点之间的可选边。
 * `task` (`str | None`): 要更新的可选任务。如果省略，则更新所有关键点任务。

引发

 * `ValueError`: 如果既未提供 `labels` 也未提供 `edges`。

##### set_tasks

```python
def set_tasks(tasks: dict[str, list[str]]):
```

设置数据集任务。

参数

 * `tasks` (`dict[str, list[str]]`): 从任务名称到任务类型的映射。

##### update_source

```python
def update_source(source: LuxonisSource):
```

更新数据集源定义。

参数

 * `source` (`LuxonisSource`): 要存储的源定义。

#### 属性

##### identifier

数据集的唯一标识符。

##### version

底层 LDF 的版本。

## 属性

### DatasetIterator

### DATASETS_REGISTRY
