gradcam_visualizer
最后更新
luxonis_train.callbacks.gradcam_visualizer记录验证图像的 Grad-CAM 热力图。热力图显示了对一个类别的分数有贡献的图像区域。类
GradCamCallback
log_n_batches 批次上运行 pytorch_grad_cam 的 HiResCAM。它将每个热力图叠加到其图像上,并使用模型的跟踪器记录结果。它在验证之外不记录任何内容。Grad-CAM 需要梯度。fit 的验证循环在没有推理模式的情况下运行,因此回调在那里工作。trainer.validate 默认在推理模式下运行。在那里,Grad-CAM 的反向传播会引发 RuntimeError。回调在 CALLBACKS 注册表中,因此配置可以添加它:Yaml
1trainer:
2 callbacks:
3 - name: GradCamCallback
4 params:
5 target_layer: 10
6 task: segmentation方法
init
Python
1def __init__(target_layer: int, class_idx: int = 0, log_n_batches: int = 1, task: str = 'classification'):target_layer(int): Grad-CAM 读取的层的索引,按照 PLModuleWrapper 的named_modules()的顺序。索引0是包装器,索引1是被包装的模型。回调选择切片[target_layer : target_layer + 1]中的层。当切片为空时,例如-1或超出范围的索引,Grad-CAM 会引发ValueError。class_idx(int): 热力图解释的类别的索引。log_n_batches(int): 每个验证周期要记录的批次数量,从第一个批次开始。task(str): 要解释的输出类型。可以是"segmentation"、"detection"、"classification"或"keypoints"。请参阅 PLModuleWrapper.forward。
on_validation_batch_end
Python
1def on_validation_batch_end(trainer: pl.Trainer, pl_module: lxt.LuxonisLightningModule, outputs: STEP_OUTPUT, batch: tuple[dict[str, Tensor], Packet[Tensor]], batch_idx: int):log_n_batches 批次的热力图。Lightning 在每个验证批次之后调用此钩子。当 batch_idx 小于 log_n_batches 时,钩子获取批次的输入。从输入字典中,它获取 pl_module.image_source 条目。然后它调用 GradCamCallback.visualize_gradients。对于后续批次,钩子不执行任何操作。参数trainer(pl.Trainer): 训练器。它提供记录图像的步骤。pl_module(lxt.LuxonisLightningModule): 模型。它提供image_source、配置和跟踪器。outputs(STEP_OUTPUT): 验证步骤的输出。未使用。batch(tuple[dict[str, Tensor], Packet[Tensor]]): 批次的输入和标签。batch_idx(int): 批次在验证周期中的索引。
setup
Python
1def setup(trainer: pl.Trainer, pl_module: lxt.LuxonisLightningModule, stage: str):pl_module 和 task 的 PLModuleWrapper。参数trainer(pl.Trainer): 训练器。未使用。pl_module(lxt.LuxonisLightningModule): 要包装的模型。stage(str): 开始的阶段。未使用。
visualize_gradients
Python
1def visualize_gradients(trainer: pl.Trainer, pl_module: lxt.LuxonisLightningModule, images: Tensor, batch_idx: int):named_modules() 中索引为 target_layer 的层上创建一个 HiResCAM。HiResCAM 将包装器和模型设置为评估模式。该方法保留 HiResCAM,因此其钩子保留在该层上,直到后续调用替换它。在此之前,钩子会保留每次前向传播的层输出的 CPU 副本,以及每次反向传播的梯度的 CPU 副本。每张图像的 Grad-CAM 目标取决于 task:"segmentation": 该方法首先在图像上运行模型并对类别应用 softmax。图像的掩码包含class_idx具有最高概率的像素。目标是该掩码上class_idx分数图的总和。- 任何其他任务: 目标是 PLModuleWrapper.forward 中分数的
class_idx条目。
grad 值。该方法使用 pl_module.cfg 的 trainer.preprocessing.normalize 对图像进行反归一化。每个热力图以半透明的 JET 颜色图叠加在其图像上。pl_module 的跟踪器在 trainer.global_step 处将每个结果记录为 gradcam/gradcam_<batch_idx>_<i>。<i> 是图像在批次中的索引。参数trainer(pl.Trainer): 训练器。它提供记录图像的步骤。pl_module(lxt.LuxonisLightningModule): 模型。它提供用于反归一化的配置和跟踪器。images(Tensor): 归一化图像,形状为[B, C, H, W]。batch_idx(int): 批次的索引。它是图像名称的一部分。
PLModuleWrapper
方法
init
Python
1def __init__(pl_module: lxt.LuxonisLightningModule, task: str):pl_module(lxt.LuxonisLightningModule): 要包装的模型。task(str): 选择 PLModuleWrapper.forward 返回的输出。可以是"segmentation"、"detection"、"classification"或"keypoints"。构造函数不检查该值。
forward
Python
1def forward(inputs: Tensor, *args, **kwargs) -> Tensor:task 的分数。该方法调用 LuxonisLightningModule.full_forward,其中 {"image": inputs} 和额外的参数。当模型有多个输出节点时,该方法会记录警告。它读取第一个输出节点的包。返回的张量取决于 task:"segmentation":"segmentation"输出,未更改。"classification":"classification"输出,未更改。"detection"和"keypoints":"class_scores"输出,在维度 1 上求和。对于 EfficientBBoxHead 的分数,形状为[B, N, n_classes](N个锚点),结果形状为[B, n_classes]。
inputs(Tensor): 图像,形状为[B, C, H, W]。该方法将它们作为名为"image"的输入传递。该名称不遵循配置的loader.image_source。*args: LuxonisLightningModule.full_forward 的额外位置参数。**kwargs: LuxonisLightningModule.full_forward 的额外关键字参数。
Tensor:task的分数。
ValueError: 当task不是四个支持值之一时。