model
最后更新
luxonis_train.config.predefined_models.detection.v1.model边界框检测模型。类
DetectionModel
吞吐量:: 384x512 时的每秒帧数。light: RVC2 上 50,RVC4 上 194medium: RVC2 上 25,RVC4 上 166heavy: RVC2 上 7,RVC4 上 120
准确度:: 这些数据来自在 COCO train2017 上训练的模型。测量使用 COCO val2017。light: 36.1 mAPheavy: 51.2 mAP 这些数据在head_params中使用conf_thres为0.03和iou_thres为0.65。其他模型的发布数据使用相同的低置信度阈值和高 IoU 阈值。
示例
配置的
model 部分:Yaml
1model:
2 predefined_model:
3 name: DetectionModel
4 params:
5 variant: light组件::- 节点:EfficientRep -> RepPANNeck -> EfficientBBoxHead
- 损失:AdaptiveDetectionLoss
- 指标:
- 可视化工具:BBoxVisualizer
- 主要指标:MeanAveragePrecision
- 变体:
lightmediumheavy
方法
init
Python
1def __init__(**kwargs):typechecked 装饰器在运行时检查它们的类型。注意
backbone_params、neck_params 或 head_params 中的 freezing 键包含该节点的 FreezingConfig,可以是实例或其字段的字典。没有 active 的字典会冻结该节点。nodes 在构建配置时会删除该键。backbone: 已注册骨干节点的类名。backbone_variant: 骨干的变体。None构建不带变体参数的骨干。head: 已注册头部节点的类名。head_variant: 头部的变体。None构建不带变体参数的头部。neck: 已注册颈部节点的类名。None将头部连接到骨干。neck_variant: 颈部的变体。None构建不带变体参数的颈部。loss: 已注册损失的类名。模型将其以1.0的权重附加到头部。metrics: 附加到头部的已注册指标的类名。字符串表示一个指标。None不附加任何指标。main_metric: 标记为主要指标的指标。训练器将此指标最高值的检查点保留在best_val_metric中。None取metrics中唯一的名称,如果metrics为空则不取任何指标。不在metrics中的名称不标记任何指标。当配置中没有指标被标记时,ModelConfig.check_main_metric 会标记第一个。visualizer: 附加到头部的已注册可视化工具的类名。None不附加任何可视化工具。confusion_matrix_available: 头部是否支持 ConfusionMatrix 指标。子类为其头部设置此项。backbone_params: 骨干的构造函数参数。freezing键不会传递给构造函数。请参阅注意事项。neck_params: 颈部的构造函数参数,具有相同的freezing键。use_neck: 构建颈部。即使设置了neck,False也会省略颈部,头部从骨干读取。head_params: 头部的构造函数参数,具有相同的freezing键。loss_params: 损失的构造函数参数。metrics_params:metrics中每个指标接收的构造函数参数。enable_confusion_matrix添加的ConfusionMatrix指标不接收它们。visualizer_params: 可视化工具的构造函数参数。enable_confusion_matrix: 将ConfusionMatrix指标附加到头部,不带主要指标标志。当confusion_matrix_available为False时,它不起作用。confusion_matrix_params:ConfusionMatrix指标的构造函数参数。task_name: 头部读取的数据集任务。它成为头部节点的task_name。torchmetrics_task:metrics中每个指标接收的torchmetrics_task键的值。None不添加任何键。该键进入metrics_params,因此非空的metrics_params字典会原地更改。此包中的任何指标都不读取该键。TorchMetricWrapper 指标读取task并将torchmetrics_task传递给torchmetrics,这会引发ValueError。请改为在metrics_params中设置task。per_class_metrics:metrics中每个指标接收的per_class_metrics键的值。None不添加任何键。当 LuxonisLightningModule 构建指标时,该键成为指标类声明的每个类参数。当类未声明时,模块会删除该键并记录警告。finetuning: 每个组件的微调条目。每个字典都成为该节点的 FinetuningConfig。**kwargs
ValueError: 当main_metric为None且metrics命名了多个指标时。
get_variants
Python
1def get_variants() -> tuple[str, dict[str, Params]]:light。每个变体将 backbone_variant 和 neck_variant 设置为一种大小:light:"n"medium:"s"heavy:"l"
backbone_params 和 neck_params 中的 weights 设置为 "download"。然后,这两个节点都会下载并加载其变体的 COCO 检查点。配置中给定的 backbone_params 或 neck_params 会替换整个变体字典。再次设置 weights 以保留 COCO 检查点。示例
Pycon
1>>> default, variants = DetectionModel.get_variants()
2>>> default
3'light'
4>>> variants["medium"]["backbone_variant"]
5's'
6>>> variants["medium"]["neck_params"]
7{'weights': 'download'}tuple[str, dict[str, Params]]:"light"和三个变体及其构造函数参数。