此页面由 AI 自动翻译。查看英文原版
最后更新

本页目录

  • 类
  • ParquetFileManager
  • 属性
  • DEFAULT_METADATA
Claude CodeCodexCursor
Luxonis 智能体工具包为你常用的编程智能体加载 Luxonis 上下文与技能,更快地基于 OAK 开发应用。
安装工具包
最后更新
Python API: luxonis_ml.data.utils.parquet用于 Luxonis 数据格式标注的 Parquet 行辅助函数。大多数用户应与 DatasetRecord.sample_metadata 和 LoaderOutput.metadata 交互。此模块记录了较低级别的存储形状:sample_metadata 以序列化 JSON 文本的形式存储在 parquet 中,并在加载或导出记录时解码回字典。

类

ParquetFileManager

管理跨分区 parquet 文件的追加式写入。行在内存中缓冲并刷新到当前 parquet 文件。每写入 num_rows 次后选择一个新文件。文件名是零填充的数字计数器,例如 0000000000.parquet。不包含 sample_metadata 的现有 parquet 分片被读取为每行都包含 "{}"。这使得较旧的 LDF 数据集与记录级元数据兼容。

方法

init
Python
1def __init__(directory: PathType, num_rows: int = 100000):
管理将行写入分区 parquet 文件。参数
  • directory (PathType): 存储 parquet 文件的本地目录。
  • num_rows (int): 每个 parquet 文件的最大行数,超过此行数将创建新文件。
remove_duplicate_uuids
Python
1def remove_duplicate_uuids(overwrite_uuids: set[str]):
write
Python
1def write(uuid: str, data: ParquetRecord, group_id: str):
将一行写入当前 parquet 文件。参数
  • uuid (str): 唯一行标识符。
  • data (ParquetRecord): 标注行数据。
  • group_id (str): 样本组的唯一标识符。

属性

buffer
当前文件的内存中列缓冲区。
current_file
当前 parquet 文件的路径。
dir
包含 parquet 文件的目录。
num
当前 parquet 文件索引。
num_rows
写入一个 parquet 文件的最大行数。
parquet_files
在 dir 中发现的现有 parquet 文件。
row_count
当前文件已缓冲或加载的行数。

属性

DEFAULT_METADATA

用于旧的或缺失的元数据行的序列化空元数据对象。