reconstruction_segmentation_loss
最后更新
luxonis_train.attached_modules.losses.reconstruction_segmentation_lossDRAEM 损失,它将重建的 L2 和结构相似性误差添加到异常掩码上的焦点损失中。该模块还包含损失使用的结构相似性 (SSIM) 辅助函数。类
ReconstructionSegmentationLoss
输入::predictions(Tensor): [B, 2, H, W] 异常 logitsreconstruction(Tensor): [B, 3, H, W] 重建图像target_original_segmentation(Tensor): [B, 3, H, W] 干净图像target_segmentation(Tensor): [B, 2, H, W] one-hot 异常掩码
输出::Tensor: 标量总损失,当reduction为"none"时为 [B, H, W]dict[str, Tensor]: 子损失l2_loss、ssim_loss、focal_loss
公式:: r 是重建,x 是干净图像,z 是 logits,y 是 one-hot 掩码: L = MSE(r, x) + (1 − SSIM(r, x)) + FL(z, y) MSE 是所有元素的均值。SSIM 是来自 ssim 的映射均值,使用 11×11 高斯窗口。FL 是 SoftmaxFocalLoss,带有alpha、gamma、smooth和reduction。
参考
- 来源:本项目。
- 许可证:Apache-2.0 (本项目)
注意事项
焦点项来自没有节点的内部 SoftmaxFocalLoss。SSIM 项在
float32 中运行,自动转换关闭,并从 reconstruction 估计动态范围。子损失未分离。示例
附加到
model.nodes 中的 DiscSubNetHead:Yaml
1- name: DiscSubNetHead
2 inputs: [RecSubNet]
3 losses:
4 - name: ReconstructionSegmentationLoss兼容::
方法
init
Python
1def __init__(alpha: float = 1, gamma: float = 2.0, reduction: Literal['none', 'mean', 'sum'] = 'mean', smooth: float = 1e-05, **kwargs):alpha(float): SoftmaxFocalLoss 的因子 α。它缩放每个像素的焦点损失。gamma(float): SoftmaxFocalLoss 的焦点指数 γ。值越大,对头部已经很好分类的像素的权重越小。reduction(Literal['none', 'mean', 'sum']): SoftmaxFocalLoss 如何减少像素损失。当为"none"时,焦点项和总损失的形状为[B, H, W]。smooth(float): SoftmaxFocalLoss 的标签平滑。当smooth不在[0, 1]中时,其构造函数会引发ValueError。**kwargs: 转发给 BaseLoss 的关键字参数,例如node和final_loss_weight。
forward
Python
1def forward(predictions: Tensor, reconstruction: Tensor, target_original_segmentation: Tensor, target_segmentation: Tensor) -> tuple[Tensor, dict[str, Tensor]]:predictions 的通道少于 2 或其形状与 target_segmentation 的形状不匹配时,SoftmaxFocalLoss 会引发 ValueError。示例
完美的重建使 L2 和 SSIM 项为
0。零 logits 使焦点项为 − (1 − 0.5)2ln0.5 ≈ 0.1733:Pycon
1>>> import torch
2>>> loss = ReconstructionSegmentationLoss()
3>>> image = torch.linspace(0, 1, 48).reshape(1, 3, 4, 4)
4>>> logits = torch.zeros(1, 2, 4, 4)
5>>> mask = torch.zeros(1, 2, 4, 4)
6>>> mask[:, 0] = 1
7>>> total, sub_losses = loss(logits, image, image, mask)
8>>> sorted(sub_losses)
9['focal_loss', 'l2_loss', 'ssim_loss']
10>>> round(total.item(), 4)
110.1733predictions(Tensor): 形状为[B, C, H, W]的异常 logits,其中C至少为2。节点的segmentation输出。reconstruction(Tensor): 形状为[B, 3, H, W]的重建图像。节点的reconstruction输出。target_original_segmentation(Tensor): 形状与reconstruction相同的干净图像。任务的original_segmentation标签。target_segmentation(Tensor): 形状与predictions相同的 one-hot 异常掩码。任务的segmentation标签。
tuple[Tensor, dict[str, Tensor]]: 三个项的总和,以及一个将"l2_loss"、"ssim_loss"和"focal_loss"映射到这些项的字典。L2 和 SSIM 项是标量。焦点项和总和是标量,或者当reduction为"none"时形状为[B, H, W]。
属性
loss_focal
loss_l2
loss_ssim
node
supported_tasks
SSIM
1.5 的高斯窗口,并返回 1 减去结果。它缓存上次输入的通道数的窗口。方法
init
Python
1def __init__(window_size: int = 11, size_average: bool = True, val_range: float | None = None):window_size(int): 正方形高斯窗口的边长,以像素为单位。size_average(bool): forward 是否对整个批次进行平均。当为False时,它为每个图像返回一个值。val_range(float | None): ssim 的动态范围。forward 不将其传递给 ssim,因此 ssim 总是从img1估计动态范围。
forward
Python
1def forward(img1: Tensor, img2: Tensor) -> Tensor:float32。当 img1 的通道数与缓存窗口不同时,该方法会构建一个新窗口并将其缓存。示例
Pycon
1>>> import torch
2>>> loss = SSIM()
3>>> image = torch.linspace(0, 1, 768).reshape(1, 3, 16, 16)
4>>> loss(image, image).item()
50.0
6>>> round(loss(image, 1 - image).item(), 4)
70.7642img1(Tensor): 形状为[B, C, H, W]的图像。ssim 从它们估计动态范围。img2(Tensor): 形状与img1相同的图像。
Tensor: 平均 SSIM 作为标量,或者当size_average为False时形状为[B]。对于相同的图像为1。
函数
create_window
Python
1def create_window(window_size: int, channel: int = 1) -> Tensor:1.5。每个通道获得相同的窗口。示例
Pycon
1>>> import torch
2>>> window = create_window(11, channel=3)
3>>> window.shape
4torch.Size([3, 1, 11, 11])
5>>> torch.allclose(window.sum(dim=(1, 2, 3)), torch.ones(3))
6Truewindow_size(int): 正方形窗口的边长,以像素为单位。channel(int): 通道数。
Tensor: 形状为[channel, 1, window_size, window_size]的float32窗口,即分组卷积的权重形状。每个通道的权重总和为1。
gaussian
Python
1def gaussian(window_size: int, sigma: float) -> Tensor:window_size 样本的归一化 1D 高斯。样本 i 获得权重 exp⎛⎝ − ((i − c)2)/(2σ2)⎞⎠,其中中心 c 在 window_size // 2。然后函数将权重除以它们的总和。对于偶数 window_size,中心是两个中间样本中的右侧一个。示例
Pycon
1>>> [round(weight, 4) for weight in gaussian(3, 1.5).tolist()]
2[0.3078, 0.3844, 0.3078]window_size(int): 样本数。sigma(float): 标准差 σ,以样本为单位。
Tensor: 形状为[window_size]的权重,总和为1。
ssim
Python
1def ssim(img1: Tensor, img2: Tensor, window_size: int = 11, window: Tensor | None = None, size_average: bool = True, val_range: float | None = None) -> Tensor:示例
Pycon
1>>> import torch
2>>> image = torch.linspace(0, 1, 64).reshape(1, 1, 8, 8)
3>>> ssim(image, image).item()
41.0
5>>> round(ssim(image, 1 - image).item(), 4)
60.0926img1(Tensor): 形状为[B, C, H, W]的图像。img2(Tensor): 形状与img1相同的图像。window_size(int): 窗口的边长。填充始终为window_size // 2,即使window具有不同的大小。window(Tensor | None): 形状为[C, 1, k, k]的过滤器权重,例如来自 create_window。当为None时,函数会构建一个边长为min(window_size, H, W)的窗口。size_average(bool): 是否返回整个映射的均值。当为False时,函数返回每个图像的均值。val_range(float | None): 动态范围 L。当为None时,函数从img1估计 L 为最大值减去最小值。当img1的值高于128时,最大值为255,否则为1。当img1的值低于-0.5时,最小值为-1,否则为0。
Tensor: 平均 SSIM 作为标量,或者当size_average为False时形状为[B]。对于相同的图像为1。