embeddings_visualizer
最后更新
luxonis_train.attached_modules.visualizers.embeddings_visualizer使用 PCA 将一批嵌入投影到二维,并根据身份标签着色绘制它们。类
EmbeddingsVisualizer

输入::prediction_canvas,target_canvas(Tensor): [B, 3, H, W]predictions(Tensor): [B, D] 嵌入target(Tensor): [B] 身份标签
输出::tuple[Tensor, Tensor]: [1, 3, 512, 512] 2D PCA 的 KDE 和散点图
参考
- 来源:本项目。
- 许可证:Apache-2.0(本项目)
注意
使用 PCA 投影嵌入,过滤 z-score 异常值,并将 Seaborn 图渲染为张量。
示例
附加到
model.nodes 中的 GhostFaceNetHead:Yaml
1- name: GhostFaceNetHead
2 inputs: [GhostFaceNet]
3 visualizers:
4 - name: EmbeddingsVisualizer兼容::
方法
init
Python
1def __init__(z_score_threshold: float = 3, **kwargs):z_score_threshold(float): 投影点的绝对 z-score 限制。forward 仅当其两个坐标的绝对 z-score 都低于此限制时才保留该点。z-score 使用批次在每个轴上的均值和标准差。默认为3。**kwargs: 转发给 BaseVisualizer 的关键字参数,例如scale和node。
forward
Python
1def forward(prediction_canvas: Tensor, target_canvas: Tensor, predictions: Tensor, target: Tensor) -> tuple[Tensor, Tensor]:NaN 和无限值替换为 0。当 predictions 是 CPU 张量时,此替换会写入其中。然后它使用 random_state=42 拟合一个双分量 PCA。当第二个分量的解释方差低于 1e-12 时,嵌入实际上是一维的。该方法然后固定第一个投影坐标的符号。它计算它们与嵌入行和的点积,并在点积为负时翻转坐标。接下来,_filter_outliers 丢弃在任一轴上其绝对 z-score 达到 z_score_threshold 的点。最后,它使用 kde_plot 和 scatter_plot 渲染 KDE 图和散点图。该方法忽略两个画布。以 INFO 级别记录丢弃的异常值数量。参数prediction_canvas(Tensor): 忽略。target_canvas(Tensor): 忽略。predictions(Tensor): 形状为[B, D]的嵌入。target(Tensor): 每个嵌入的id元数据标签,形状为[B]。该方法将其转换为int。
tuple[Tensor, Tensor]: KDE 图和散点图,每个都是形状为[1, 3, 512, 512]的uint8图像。
kde_plot
Python
1def kde_plot(ax: plt.Axes, emb: np.ndarray, labels: np.ndarray):bw_adjust=1.5 和 alpha=0.9。warn_singular=False 抑制了 Seaborn 对无法形成密度的标签点的警告。参数ax(plt.Axes): 绘制的轴。emb(np.ndarray): 形状为[N, 2]的投影点。labels(np.ndarray): 每个点的标签,形状为[N]。
plot_to_tensor
Python
1def plot_to_tensor(embeddings_2d: np.ndarray, ids_np: np.ndarray, plot_func: Callable[[plt.Axes, np.ndarray, np.ndarray], None]) -> Tensor:10 x 10 英寸的图,并将两个轴限制在点的范围内。然后它在轴上调用 plot_func,隐藏轴,并使用 figure_to_torch 转换图。示例
Pycon
1>>> import numpy as np
2>>> def no_op(ax, points, labels):
3... pass
4>>> EmbeddingsVisualizer.plot_to_tensor(
5... np.zeros((0, 2)), np.zeros(0, dtype=int), no_op
6... ).shape
7torch.Size([1, 3, 512, 512])embeddings_2d(np.ndarray): 形状为[N, 2]的投影点。可能为空;此时轴限制保持默认值。ids_np(np.ndarray): 形状为[N]的标签。plot_func(Callable[[plt.Axes, np.ndarray, np.ndarray], None]): 在接收到的轴上绘制,例如 kde_plot 或 scatter_plot。
Tensor: 形状为[1, 3, 512, 512]的uint8图像。
scatter_plot
Python
1def scatter_plot(ax: plt.Axes, emb: np.ndarray, labels: np.ndarray):s=300、alpha=0.9,无图例。调色板将每个标签映射到 BaseVisualizer.colormap 中的颜色。参数ax(plt.Axes): 绘制的轴。emb(np.ndarray): 形状为[N, 2]的投影点。labels(np.ndarray): 每个点的标签,形状为[N]。