luxonis_progress_bar
最后更新
luxonis_train.callbacks.luxonis_progress_bar训练器的进度条和优化器摘要。LuxonisRichProgressBar 和 LuxonisTQDMProgressBar 显示批处理进度并打印每个评估周期的结果。两个进度条都将打印结果镜像到日志文件。build_optimizer_summary 和 log_optimizer_summary 报告模型参数如何在优化器及其参数组中分配。摘要显示了微调规则和配置训练策略的效果。类
BaseLuxonisProgressBar
v_num 项,并添加训练损失的运行平均值作为 Loss。子类使用 BaseLuxonisProgressBar.print_results 和 BaseLuxonisProgressBar.print_table 打印评估周期的结果。子类还将每个训练周期的摘要行写入日志文件。方法
format_matrix_for_printing
Python
1def format_matrix_for_printing(node: Any, name: str, value: Tensor) -> dict[str, Any]:node 的类名。当矩阵多出一行(列)时,标签是类名加上 "no match"。否则,标签是字符串形式的索引。当 node 的类名引发 RuntimeError 时,例如因为节点没有数据集元数据,类名被视为空。该查找的任何其他异常都会传播。结果包含键 "values"(嵌套列表形式的矩阵)、"row_labels"、"col_labels"、"row_axis" ("GT") 和 "col_axis" ("Pred")。示例
Pycon
1>>> import torch
2>>> from types import SimpleNamespace
3>>> bar = LuxonisTQDMProgressBar()
4>>> node = SimpleNamespace(class_names=["cat", "dog"])
5>>> matrix = torch.tensor([[3, 1, 0], [0, 2, 1]])
6>>> info = bar.format_matrix_for_printing(node, "cm", matrix)
7>>> info["row_labels"], info["col_labels"]
8(['cat', 'dog'], ['cat', 'dog', 'no match'])
9>>> info["values"]
10[[3, 1, 0], [0, 2, 1]]
11>>> info["row_axis"], info["col_axis"]
12('GT', 'Pred')node(Any): 指标附加到的节点。当对象具有module属性时,如 NodeWrapper,该方法从该属性读取类名。name(str): 指标名称。未使用。value(Tensor): 矩阵,形状为[R, C]。
dict[str, Any]: 矩阵值及其标签。
get_metrics
Python
1def get_metrics(trainer: pl.Trainer, pl_module: lxt.LuxonisLightningModule) -> dict[str, int | str | float | dict[str, float]]:prog_bar=True 记录的指标,由 ProgressBar.get_metrics 收集,不包含 v_num 条目。当 pl_module 的训练损失累加器包含 "loss" 条目时,该方法将其添加为 Loss。该值是当前周期批次总损失的运行平均值。参数trainer(pl.Trainer): 训练器。pl_module(lxt.LuxonisLightningModule): 模型。其训练损失累加器提供Loss值。
dict[str, int | str | float | dict[str, float]]: 要显示的项目,按名称键入。
print_results
Python
1def print_results(stage: str, loss: float, metrics: Mapping[str, Mapping[str, int | str | float]], matrices: Mapping[str, Mapping[str, Mapping[str, Any]]]):metrics 中的一个表,以及每个矩阵在 matrices 中的一个表。参数stage(str): 阶段名称,例如"Validation"。loss(float): 周期的平均损失。metrics(Mapping[str, Mapping[str, int | str | float]]): 标量指标,格式为{node_name: {metric_name: value}}。matrices(Mapping[str, Mapping[str, Mapping[str, Any]]]): 矩阵指标,格式为{node_name: {metric_name: matrix}}。每个矩阵都是 BaseLuxonisProgressBar.format_matrix_for_printing 格式的字典。
print_table
Python
1def print_table(title: str, table: Iterable[tuple[str | int | float, ...]], column_names: list[str]):title,然后是一个表,其中 column_names 的每个条目都有一个标题,table 的每个元组都有一行。参数title(str): 表的标题。table(Iterable[tuple[str | int | float, ...]]): 行。每行是一个元组,每个列有一个值。column_names(list[str]): 列名。
LuxonisRichProgressBar
rich 打印样式文本的进度条。当配置中 rich_logging 为 True 时,LuxonisModel 使用此进度条。进度条将评估周期的结果作为 rich 表打印到控制台。它将相同的表(不带终端样式)渲染到缓冲区,并仅将缓冲区写入日志文件。方法
init
Python
1def __init__(self):leave=True 和日志控制台初始化进度条。完成的训练进度条在每个周期结束时保留在终端中。日志控制台将不带终端样式的内存缓冲区写入。LuxonisRichProgressBar.print_results 将缓冲区写入日志文件并清除它。on_train_epoch_end
Python
1def on_train_epoch_end(trainer: pl.Trainer, pl_module: lxt.LuxonisLightningModule):RichProgressBar 基类更新启用显示器的指标列并刷新显示器。项目来自 BaseLuxonisProgressBar.get_metrics,其中每个张量都替换为其 item() 值。然后,一条摘要行仅写入日志文件,格式为 [Epoch <n>/<max>] Duration: <s>s | Train Loss: <loss>。持续时间是自 LuxonisRichProgressBar.on_train_epoch_start 以来的时间,包括该周期的验证。损失是 trainer.callback_metrics 的 train/loss 值。Lightning 在 LuxonisLightningModule.on_train_epoch_end 之前运行此钩子,该钩子记录 train/loss。因此,该行显示的是上一个周期的值。当值缺失或为零时(例如在第一个周期),它显示 N/A。参数trainer(pl.Trainer): 训练器。pl_module(lxt.LuxonisLightningModule): 模型。基类读取其指标以获取指标列。
on_train_epoch_start
Python
1def on_train_epoch_start(trainer: pl.Trainer, pl_module: lxt.LuxonisLightningModule):RichProgressBar 基类添加一个以周期命名的训练任务。从第二个周期开始,它首先停止当前显示并启动一个新的显示,因为 leave 为 True。禁用的进度条会跳过所有这些。开始时间为 LuxonisRichProgressBar.on_train_epoch_end 中的持续时间提供数据。参数trainer(pl.Trainer): 训练器。pl_module(lxt.LuxonisLightningModule): 模型。未使用。
print_results
Python
1def print_results(stage: str, loss: float, metrics: Mapping[str, Mapping[str, int | str | float]], matrices: Mapping[str, Mapping[str, Mapping[str, Any]]]):Metrics: 标题。metrics 中的每个节点都会获得一个 rich 表,其名称作为标题,列为 Name 和 Value。该节点的矩阵紧随其表。没有标量指标的节点的矩阵最后出现,标题为 <node>/<matrix title>。矩阵的标题是其名称的标题大小写,下划线替换为空格。矩阵以表的形式打印。其标题包含矩阵的 row_axis 和 col_axis 名称以及列标签。每行以其行标签开始。一个结束规则结束输出。相同的输出,不带终端样式,仅写入日志文件。然后该方法清除日志缓冲区。参数stage(str): 阶段名称,例如"Validation"。loss(float): 周期的平均损失。metrics(Mapping[str, Mapping[str, int | str | float]]): 标量指标,格式为{node_name: {metric_name: value}}。matrices(Mapping[str, Mapping[str, Mapping[str, Any]]]): 矩阵指标,格式为{node_name: {metric_name: matrix}},采用 BaseLuxonisProgressBar.format_matrix_for_printing 的格式。
RuntimeError: 当进度条的控制台尚不存在时,请参阅 LuxonisRichProgressBar.console。
print_table
Python
1def print_table(title: str, table: Iterable[tuple[str | int | float, ...]], column_names: list[str], console: Console | None = None):rich 表。标题为粗体,标题为粗体洋红色。第一列为洋红色,其他列为白色。str 转换每行的第一个元素。其他元素中的 float 以五位小数打印。任何其他元素都以 str 打印。参数title(str): 表的标题。table(Iterable[tuple[str | int | float, ...]]): 行。每行是一个元组,每个列有一个值。column_names(list[str]): 列名。console(Console | None): 要打印到的控制台。None表示进度条的控制台,即终端。
RuntimeError: 当console为None且进度条的控制台尚不存在时,请参阅 LuxonisRichProgressBar.console。
属性
console
rich 控制台。Lightning RichProgressBar 基类在阶段开始且进度条启用时创建控制台。在阶段开始时禁用的进度条不会获得控制台。引发RuntimeError: 当控制台尚不存在时。消息要求用户在配置中将rich_logging设置为False。
LuxonisTQDMProgressBar
tqdm 打印纯文本的进度条。当配置中 rich_logging 为 False 时,LuxonisModel 使用此进度条。进度条通过记录器将评估周期的结果作为 tabulate 网格打印,以便控制台和日志文件接收相同的文本。方法
init
Python
1def __init__(self):leave=True 初始化进度条。完成的训练进度条在每个周期结束时保留在终端中,下一个周期会获得一个新的进度条。on_train_epoch_end
Python
1def on_train_epoch_end(trainer: pl.Trainer, pl_module: lxt.LuxonisLightningModule):TQDMProgressBar 基类根据 BaseLuxonisProgressBar.get_metrics 设置启用进度条的后缀并关闭进度条。然后,一条摘要行仅写入日志文件,格式为 [Epoch <n>/<max>] Duration: <s>s | Train Loss: <loss>。持续时间是自 LuxonisTQDMProgressBar.on_train_epoch_start 以来的时间,包括该周期的验证。损失是 trainer.callback_metrics 的 train/loss 值。Lightning 在 LuxonisLightningModule.on_train_epoch_end 之前运行此钩子,该钩子记录 train/loss。因此,该行显示的是上一个周期的值。当值缺失或为零时(例如在第一个周期),它显示 N/A。参数trainer(pl.Trainer): 训练器。pl_module(lxt.LuxonisLightningModule): 模型。基类读取其指标以获取进度条后缀。
on_train_epoch_start
Python
1def on_train_epoch_start(trainer: pl.Trainer, pl_module: lxt.LuxonisLightningModule):TQDMProgressBar 基类创建一个新的进度条,因为 leave 为 True,并将其描述设置为 Epoch N。开始时间为 LuxonisTQDMProgressBar.on_train_epoch_end 中的持续时间提供数据。参数trainer(pl.Trainer): 训练器。pl_module(lxt.LuxonisLightningModule): 模型。未使用。
print_results
Python
1def print_results(stage: str, loss: float, metrics: Mapping[str, Mapping[str, int | str | float]], matrices: Mapping[str, Mapping[str, Mapping[str, Any]]]):Metrics: 标题。metrics 中的每个节点都会获得一个包含其名称的规则和一个包含 Name 和 Value 列的 tabulate 网格。该节点的矩阵紧随其网格。没有标量指标的节点的矩阵最后出现,标题为 <node>/<matrix title>。矩阵的标题是其名称的标题大小写,下划线替换为空格。矩阵以包含其标题的规则和网格的形式打印。网格的标题包含矩阵的 row_axis 和 col_axis 名称以及列标签。每行以其行标签开始。一个结束规则结束输出。每行都通过 logger.info,因此它到达控制台和日志文件。参数stage(str): 阶段名称,例如"Validation"。loss(float): 周期的平均损失。metrics(Mapping[str, Mapping[str, int | str | float]]): 标量指标,格式为{node_name: {metric_name: value}}。matrices(Mapping[str, Mapping[str, Mapping[str, Any]]]): 矩阵指标,格式为{node_name: {metric_name: matrix}},采用 BaseLuxonisProgressBar.format_matrix_for_printing 的格式。
print_table
Python
1def print_table(title: str, table: Iterable[tuple[str | int | float, ...]], column_names: list[str]):tabulate 网格。输出是一个包含 title 的规则,然后是 fancy_grid 格式的表,数字右对齐。参数title(str): 表的标题。table(Iterable[tuple[str | int | float, ...]]): 行。每行是一个元组,每个列有一个值。column_names(list[str]): 列名。
函数
build_optimizer_summary
Python
1def build_optimizer_summary(optimizers: Sequence[Optimizer], schedulers: Sequence[LRSchedulerTypeUnion | LRSchedulerConfig], modules: Mapping[str, nn.Module]) -> dict[str, Any]:modules 中包含其参数的模块。使用了两个分母:- 组级别的百分比
tensors_pct_of_model和params_pct_of_model是相对于模型所有参数的。所有优化器的所有组的总和是 100% 减去没有组持有的参数的份额。两个组持有的参数在该总和中计算两次。 - 所有者级别的百分比
tensors_pct_of_owner和params_pct_of_owner是相对于该所有者所有参数的。在一个所有者的所有出现中,当所有者的每个参数恰好在一个组中时,它们加起来为 100%。这显示了节点的参数如何在组之间分配。
"<external>" 收集组持有但 modules 中没有模块拥有的参数。多个模块共享的参数属于 modules 中第一个列出它的模块。在每个计数中,*_tensors 是参数张量的数量,*_params 是元素的数量。当分母为零时,百分比为 0.0。结果包含以下键:n_optimizers: 优化器数量。model_tensors,model_params: 所有所有者的总数,包括外部所有者。trainable_tensors,trainable_params,frozen_tensors,frozen_params: 按requires_grad划分的总数。optimizers: 每个优化器一个条目,包含index、optimizer和scheduler(类名)、n_groups和groups。
index、n_tensors、n_params、可训练和冻结计数、tensors_pct_of_model、params_pct_of_model、hyperparams 和 owners。hyperparams 包含参数组的条目,除了 params、可调用对象、列表、元组和字典。owners 列出按其在组中的 n_params 降序排列的所有者。每个所有者包含 name、n_tensors、n_tensors_of_owner、tensors_pct_of_owner、n_params、n_params_of_owner、params_pct_of_owner 以及可训练和冻结计数。示例
Pycon
1>>> from torch import nn
2>>> from torch.optim import SGD
3>>> from torch.optim.lr_scheduler import ConstantLR
4>>> backbone = nn.Linear(4, 8)
5>>> head = nn.Linear(8, 2)
6>>> optimizer = SGD(
7... [
8... {"params": backbone.parameters()},
9... {"params": head.parameters(), "lr": 0.1},
10... ],
11... lr=0.01,
12... )
13>>> summary = build_optimizer_summary(
14... [optimizer],
15... [ConstantLR(optimizer, factor=1.0)],
16... {"backbone": backbone, "head": head},
17... )
18>>> summary["n_optimizers"], summary["model_params"]
19(1, 58)
20>>> group = summary["optimizers"][0]["groups"][0]
21>>> group["hyperparams"]["lr"]
220.01
23>>> round(group["params_pct_of_model"], 1)
2469.0
25>>> [owner["name"] for owner in group["owners"]]
26['backbone']optimizers(Sequence[Optimizer]): 优化器,按顺序排列。schedulers(Sequence[LRSchedulerTypeUnion | LRSchedulerConfig]): 每个优化器一个条目。字典贡献其"scheduler"条目的类名,因为 Lightning 调度器配置字典包含一个。任何其他对象贡献其自己的类名,因此没有调度器的优化器的None显示为"NoneType"。LightningLRSchedulerConfig数据类不是字典,因此它显示为"LRSchedulerConfig"。modules(Mapping[str, nn.Module]): 按名称键入的所有者模块,通常是按节点名称键入的模型节点。
dict[str, Any]: 上述摘要。
ValueError: 当optimizers和schedulers的长度不同时。
log_optimizer_summary
Python
1def log_optimizer_summary(summary: dict[str, Any], use_rich: bool = True):use_rich 时,摘要以嵌套面板的形式显示在全局 rich 控制台上。标题面板包含总数。然后每个优化器一个面板,每个面板包含一个组面板。组面板包含一个超参数面板和一个所有者面板。不使用 use_rich 时,摘要通过 logger.info 以缩进的纯文本列表形式显示,该列表到达控制台和日志文件。在这两种情况下,函数还将摘要以 JSON 格式写入日志文件,对于 JSON 无法编码的值使用 str。参数summary(dict[str, Any]): 来自 build_optimizer_summary 的摘要。use_rich(bool): 是否使用rich面板渲染摘要。