此页面由 AI 自动翻译。查看英文原版
最后更新

本页目录

  • 类
  • UploadCheckpoint
Claude CodeCodexCursor
Luxonis 智能体工具包为你常用的编程智能体加载 Luxonis 上下文与技能,更快地基于 OAK 开发应用。
安装工具包

upload_checkpoint

最后更新
Python API: luxonis_train.callbacks.upload_checkpoint将每个新的最佳检查点上传到跟踪器。

类

UploadCheckpoint

回调,将每个新的最佳检查点上传到跟踪器。此回调读取训练器的每个 ModelCheckpoint。一个运行在最低验证损失时有一个,在配置有指标时在主指标上有一个。当此类回调的最佳检查点发生变化时,on_save_checkpoint 会将其上传。LuxonisTrackerPL 会将文件发送到 MLFlow 和 Weights and Biases(如果运行使用它们)。当设置 trainer.smart_cfg_auto_populate 时,如果缺少此回调,Config.smart_auto_populate 会将其添加到 trainer.callbacks。LuxonisModel.tune 会将其从每个试验的配置中移除。

方法

init
Python
1def __init__(self):
初始化回调,不上传任何检查点。
load_state_dict
Python
1def load_state_dict(state_dict: dict[str, set[str]]):
恢复已上传检查点的路径。参数
  • state_dict (dict[str, set[str]]): 来自检查点的回调状态。旧检查点可以包含一个空字典。
on_save_checkpoint
Python
1def on_save_checkpoint(trainer: pl.Trainer, module: lxt.LuxonisLightningModule, checkpoint: dict[str, Any]):
上传尚未上传的最佳检查点。Lightning 在训练器每次保存完整检查点时调用此钩子,在模块的 on_save_checkpoint 钩子之前。weights_only 的保存不会调用它。此钩子会创建 checkpoint 的浅拷贝。它会将 LuxonisLightningModule.on_save_checkpoint 描述的运行元数据添加到拷贝中。该步骤会运行一次前向传播,这会使 module 处于评估模式。然后,此钩子会读取 trainer 的每个 ModelCheckpoint 的 best_model_path。对于每个非空且回调之前未上传的路径,此钩子会执行以下步骤:
  1. 它将路径记录为已上传。它将新的回调状态写入 checkpoint["callbacks"] 和拷贝中。
  2. 它将拷贝写入当前工作目录中的 <directory>.ckpt。<directory> 是包含该路径的目录的名称。对于 Nodes.build_callbacks 添加的检查点,名称为 min_val_loss.ckpt 和 best_val_metric.ckpt。写入会替换同名文件。
  3. 它使用 module.logger.upload_artifact 和工件类型 weights 上传文件。上传仅在 rank zero 上运行。
  4. 它删除文件。
当写入或上传引发错误时,此钩子会从记录中删除该路径。它会将不包含该路径的回调状态写入 checkpoint["callbacks"] 并再次引发错误。此钩子会在每次上传前后记录一条信息消息。上传的文件包含当前保存的状态,而不是 best_model_path 处的文件。ModelCheckpoint 在保存之前设置其新的最佳路径,因此两者包含相同的权重。Lightning 在调用此钩子之前收集回调状态。因此,此钩子必须将新状态写入 checkpoint 本身。恢复的运行会恢复已上传的路径,并且不会为历史最佳路径上传当前状态。参数
  • trainer (pl.Trainer): 训练器。此钩子会读取其检查点回调。
  • module (lxt.LuxonisLightningModule): 模型。此钩子通过其记录器上传并将其元数据添加到拷贝中。
  • checkpoint (dict[str, Any]): Lightning 即将写入的检查点字典。对于每次新的上传,此钩子会替换 checkpoint["callbacks"] 中此回调的状态。它不会更改其他键。
state_dict
Python
1def state_dict(self) -> dict[str, set[str]]:
返回已上传检查点的路径。返回
  • dict[str, set[str]]: "last_best_checkpoints" 下已上传的路径。