# parquet

Python API: `luxonis_ml.data.utils.parquet`

用于 Luxonis 数据格式标注的 Parquet 行辅助函数。

大多数用户应与
[DatasetRecord.sample_metadata](/software-v3/ai-inference/model-source/training/luxonis-ml/luxonis-ml-api-reference/ldf/annotation.md)
和
[LoaderOutput.metadata](/software-v3/ai-inference/model-source/training/luxonis-ml/luxonis-ml-api-reference/typing.md)
交互。此模块记录了较低级别的存储形状：`sample_metadata` 以序列化 JSON 文本的形式存储在 parquet 中，并在加载或导出记录时解码回字典。

## 类

### ParquetFileManager

管理跨分区 parquet 文件的追加式写入。

行在内存中缓冲并刷新到当前 parquet 文件。每写入 `num_rows` 次后选择一个新文件。文件名是零填充的数字计数器，例如 `0000000000.parquet`。

不包含 `sample_metadata` 的现有 parquet 分片被读取为每行都包含 `"{}"`。这使得较旧的 LDF 数据集与记录级元数据兼容。

#### 方法

##### init

```python
def __init__(directory: PathType, num_rows: int = 100000):
```

管理将行写入分区 parquet 文件。

> **示例**
> ```pycon
>>> record = {
...     "file": "image.jpg",
...     "source_name": "image",
...     "task_name": "detection",
...     "class_name": "car",
...     "instance_id": 0,
...     "task_type": "boundingbox",
...     "annotation": "{}",
...     "sample_metadata": "{}",
... }
>>> manager = ParquetFileManager(
...     "/tmp/ldf-parquet-example", num_rows=2
... )
>>> manager.num_rows
2
```

参数

 * `directory` (`PathType`): 存储 parquet 文件的本地目录。
 * `num_rows` (`int`): 每个 parquet 文件的最大行数，超过此行数将创建新文件。

##### remove_duplicate_uuids

```python
def remove_duplicate_uuids(overwrite_uuids: set[str]):
```

##### write

```python
def write(uuid: str, data: ParquetRecord, group_id: str):
```

将一行写入当前 parquet 文件。

参数

 * `uuid` (`str`): 唯一行标识符。
 * `data` (`ParquetRecord`): 标注行数据。
 * `group_id` (`str`): 样本组的唯一标识符。

#### 属性

##### buffer

当前文件的内存中列缓冲区。

##### current_file

当前 parquet 文件的路径。

##### dir

包含 parquet 文件的目录。

##### num

当前 parquet 文件索引。

##### num_rows

写入一个 parquet 文件的最大行数。

##### parquet_files

在 `dir` 中发现的现有 parquet 文件。

##### row_count

当前文件已缓冲或加载的行数。

## 属性

### DEFAULT_METADATA

用于旧的或缺失的元数据行的序列化空元数据对象。
