parquet
最后更新
luxonis_ml.data.utils.parquet用于 Luxonis 数据格式标注的 Parquet 行辅助函数。大多数用户应与 DatasetRecord.sample_metadata 和 LoaderOutput.metadata 交互。此模块记录了较低级别的存储形状:sample_metadata 以序列化 JSON 文本的形式存储在 parquet 中,并在加载或导出记录时解码回字典。类
ParquetFileManager
num_rows 次后选择一个新文件。文件名是零填充的数字计数器,例如 0000000000.parquet。不包含 sample_metadata 的现有 parquet 分片被读取为每行都包含 "{}"。这使得较旧的 LDF 数据集与记录级元数据兼容。方法
init
Python
1def __init__(directory: PathType, num_rows: int = 100000):示例
Pycon
1>>> record = {
2... "file": "image.jpg",
3... "source_name": "image",
4... "task_name": "detection",
5... "class_name": "car",
6... "instance_id": 0,
7... "task_type": "boundingbox",
8... "annotation": "{}",
9... "sample_metadata": "{}",
10... }
11>>> manager = ParquetFileManager(
12... "/tmp/ldf-parquet-example", num_rows=2
13... )
14>>> manager.num_rows
152directory(PathType): 存储 parquet 文件的本地目录。num_rows(int): 每个 parquet 文件的最大行数,超过此行数将创建新文件。
remove_duplicate_uuids
Python
1def remove_duplicate_uuids(overwrite_uuids: set[str]):write
Python
1def write(uuid: str, data: ParquetRecord, group_id: str):uuid(str): 唯一行标识符。data(ParquetRecord): 标注行数据。group_id(str): 样本组的唯一标识符。
属性
buffer
current_file
dir
num
num_rows
parquet_files
dir 中发现的现有 parquet 文件。