upload_checkpoint
最后更新
luxonis_train.callbacks.upload_checkpoint将每个新的最佳检查点上传到跟踪器。类
UploadCheckpoint
ModelCheckpoint。一个运行在最低验证损失时有一个,在配置有指标时在主指标上有一个。当此类回调的最佳检查点发生变化时,on_save_checkpoint 会将其上传。LuxonisTrackerPL 会将文件发送到 MLFlow 和 Weights and Biases(如果运行使用它们)。当设置 trainer.smart_cfg_auto_populate 时,如果缺少此回调,Config.smart_auto_populate 会将其添加到 trainer.callbacks。LuxonisModel.tune 会将其从每个试验的配置中移除。方法
init
Python
1def __init__(self):load_state_dict
Python
1def load_state_dict(state_dict: dict[str, set[str]]):state_dict(dict[str, set[str]]): 来自检查点的回调状态。旧检查点可以包含一个空字典。
on_save_checkpoint
Python
1def on_save_checkpoint(trainer: pl.Trainer, module: lxt.LuxonisLightningModule, checkpoint: dict[str, Any]):on_save_checkpoint 钩子之前。weights_only 的保存不会调用它。此钩子会创建 checkpoint 的浅拷贝。它会将 LuxonisLightningModule.on_save_checkpoint 描述的运行元数据添加到拷贝中。该步骤会运行一次前向传播,这会使 module 处于评估模式。然后,此钩子会读取 trainer 的每个 ModelCheckpoint 的 best_model_path。对于每个非空且回调之前未上传的路径,此钩子会执行以下步骤:- 它将路径记录为已上传。它将新的回调状态写入
checkpoint["callbacks"]和拷贝中。 - 它将拷贝写入当前工作目录中的
<directory>.ckpt。<directory>是包含该路径的目录的名称。对于 Nodes.build_callbacks 添加的检查点,名称为min_val_loss.ckpt和best_val_metric.ckpt。写入会替换同名文件。 - 它使用
module.logger.upload_artifact和工件类型weights上传文件。上传仅在 rank zero 上运行。 - 它删除文件。
checkpoint["callbacks"] 并再次引发错误。此钩子会在每次上传前后记录一条信息消息。上传的文件包含当前保存的状态,而不是 best_model_path 处的文件。ModelCheckpoint 在保存之前设置其新的最佳路径,因此两者包含相同的权重。Lightning 在调用此钩子之前收集回调状态。因此,此钩子必须将新状态写入 checkpoint 本身。恢复的运行会恢复已上传的路径,并且不会为历史最佳路径上传当前状态。参数trainer(pl.Trainer): 训练器。此钩子会读取其检查点回调。module(lxt.LuxonisLightningModule): 模型。此钩子通过其记录器上传并将其元数据添加到拷贝中。checkpoint(dict[str, Any]): Lightning 即将写入的检查点字典。对于每次新的上传,此钩子会替换checkpoint["callbacks"]中此回调的状态。它不会更改其他键。
state_dict
Python
1def state_dict(self) -> dict[str, set[str]]:dict[str, set[str]]:"last_best_checkpoints"下已上传的路径。