graceful_interrupt
最后更新
luxonis_train.callbacks.graceful_interrupt将第一次中断转换为干净的停止。回调保存一个恢复检查点并跳过剩余的训练结束回调。第二次中断会立即退出。类
GracefulInterruptCallback
SIGINT 或 SIGTERM 上干净地停止拟合的回调。LuxonisModel 将此回调添加到其主训练器和每个调优试验的训练器中。在拟合运行时,回调会替换 SIGINT 和 SIGTERM 的处理程序。新处理程序的作用如下:- 第一次信号:处理程序记录警告并保存
resume.ckpt到save_dir。当回调有跟踪器时,处理程序会上传检查点并以"failed"状态完成运行。处理程序记录失败步骤的错误,但不会引发它。保存失败不会停止上传。上传失败会跳过最终确定。然后处理程序将trainer.should_stop设置为True。 - 第二次信号:处理程序记录警告并调用
os._exit(1)。进程立即结束,不进行清理。
SIGINT 之后,Lightning 结束拟合。然后 GracefulInterruptCallback.on_train_end 引发 SystemExit,因此后续回调的训练结束钩子不会运行。当拟合开始运行时,Lightning 会安装自己的 SIGTERM 处理程序,该处理程序也会调用回调的处理程序。在第一次 SIGTERM 之后,Lightning 会在当前批次或 epoch 结束时引发其 SIGTERMException(一个 SystemExit)。然后没有训练结束钩子运行。处理程序会忽略在创建回调的进程之外的进程中的信号,例如在数据加载器工作进程中。方法
init
Python
1def __init__(save_dir: Path, tracker: LuxonisTrackerPL | None = None):save_dir(Path):resume.ckpt的目录。回调会将该值转换为pathlib.Path,因此str也是有效的。tracker(LuxonisTrackerPL | None):在第一次中断时接收resume.ckpt的跟踪器。第一次中断还会以"failed"状态完成其运行。None会跳过上传和最终确定。
on_train_end
Python
1def on_train_end(trainer: pl.Trainer, pl_module: lxt.LuxonisLightningModule):sys.exit(0)。在 SIGTERM 之后,Lightning 会在此钩子运行之前引发自己的异常。SystemExit 会停止此回调之后的回调的训练结束钩子。LuxonisModel 将此回调提供给训练器。Lightning 在其之后添加 LuxonisLightningModule.configure_callbacks 的回调。因此,配置的回调(例如 TestOnTrainEnd 和 ExportOnTrainEnd)会稍后运行。当配置本身列出此回调时,Lightning 会丢弃 LuxonisModel 创建的实例。配置的实例然后在其在配置中的位置运行。在异常之后,Lightning 会调用 on_exception 钩子,但不会调用 teardown 钩子。参数trainer(pl.Trainer):训练器。未使用。pl_module(lxt.LuxonisLightningModule):模型。未使用。
SystemExit:当中断停止拟合时,代码为0。
setup
Python
1def setup(trainer: pl.Trainer, pl_module: lxt.LuxonisLightningModule, stage: str | None = None):trainer,以便处理程序可以保存检查点并停止训练器。对于 "fit" 以外的阶段,钩子不执行任何其他操作。对于 "fit",在创建回调的进程中,钩子保存 SIGINT 和 SIGTERM 的当前处理程序并安装自己的处理程序。在任何进程中,钩子然后以 INFO 级别记录 Added GracefulInterrupt callback。参数trainer(pl.Trainer):在中断时保存和停止的训练器。pl_module(lxt.LuxonisLightningModule):模型。未使用。stage(str | None):开始的阶段,例如"fit"。
teardown
Python
1def teardown(trainer: pl.Trainer, pl_module: lxt.LuxonisLightningModule, stage: str | None = None):"fit",在创建回调的进程中,钩子恢复 GracefulInterruptCallback.setup 保存的处理程序。对于其他阶段和在其他进程中,钩子不执行任何操作。中断后,Lightning 不会调用此钩子,因此回调的处理程序保持安装状态。参数trainer(pl.Trainer):训练器。未使用。pl_module(lxt.LuxonisLightningModule):模型。未使用。stage(str | None):结束的阶段。