[发明专利]计算机视觉CV模型训练方法、装置、电子设备和存储介质

说明书

本申请公开了一种计算机视觉CV模型训练方法、装置、电子设备和存储介质，所述方法包括：获取第一CV模型提取的训练图像的第一视觉特征，获取第二CV模型提取的训练图像的第二视觉特征；对各训练图像的第一视觉特征和第二视觉特征分别进行拆解，得到第一视觉特征的第一拆解特征和第二视觉特征的第二拆解特征；根据第一拆解特征生成表征训练图像间关系的监督信号，根据第二拆解特征生成表征图像间关系的学习信号；根据监督信号和学习信号确定第二CV模型的训练损失值，根据训练损失值对第二CV模型的参数进行优化。本申请可以得到更多监督信号，提高模型拟合效果，同时可以学到图像间更重要的关系，避免了一些不具有判别力的图像关系对模型精度的影响。

技术领域

本申请涉及计算机视觉技术领域，具体涉及一种计算机视觉CV模型训练方法、装置、电子设备和存储介质。

背景技术

知识蒸馏(Knowledge Distillation，简称KD)在近些年来的计算机视觉任务中取得了较大的突破，该方法将大模型的输出作为知识，让一个更小的模型去学习，从而可以得到一个精度高同时模型较小、速度较快的模型。主流的知识蒸馏主要让小模型去拟合大模型的输出分布，从而使得结果接近大模型，最早是Hinton在ICLR(InternationalConference on Learning Representations，国际学习表征会议)2015会议上提出，而最近研究者也有提出基于关系的知识蒸馏，即通过构造样本对之间的关系，让小模型去学习，可以进一步提升性能。假设样本为n，基于分布的蒸馏只能得到O(n)级别的监督信号，而基于关系的蒸馏可以得到O(n²)级别的监督信号，从而使得小模型更好地拟合大模型的输出。目前基于关系的知识蒸馏方法主要有CVPR(IEEE Conference on Computer Vision andPattern Recognition，IEEE国际计算机视觉与模式识别会议)2019会议上发表的Relational Knowledge Distillation(关系知识蒸馏)和ICCV(IEEE InternationalConferenceon Computer Vision，国际计算机视觉大会)2019会议上发表的Similarity-Preserving Knowledge Distillation(保持相似性的知识蒸馏)。

然而，发明人发现，现有技术中用于计算机视觉任务的知识蒸馏模型的蒸馏效果及模型精度仍有待进一步提升。

发明内容

鉴于上述问题，提出了本申请以便提供一种克服上述问题或者至少部分地解决上述问题的计算机视觉CV模型训练方法、装置、电子设备和存储介质。

依据本申请的第一方面，提供了一种计算机视觉CV模型训练方法，包括：

获取第一CV模型提取的训练图像的第一视觉特征，以及获取第二CV模型提取的所述训练图像的第二视觉特征；

对各训练图像的第一视觉特征和第二视觉特征分别进行拆解，得到第一视觉特征在多个子空间内的第一拆解特征和第二视觉特征在多个子空间内的第二拆解特征；

根据所述第一拆解特征生成表征训练图像间关系的监督信号，以及根据所述第二拆解特征生成表征训练图像间关系的学习信号；

根据所述监督信号和所述学习信号确定第二CV模型的训练损失值，根据所述训练损失值对所述第二CV模型的参数进行优化。

可选地，所述对各训练图像的第一视觉特征和第二视觉特征分别进行拆解包括：

确定与通道维度对应的多个子空间，将所述第一视觉特征和所述第二视觉特征分别拆解到各子空间中。

可选地，所述根据所述第一拆解特征生成表征训练图像间关系的监督信号，以及根据所述第二拆解特征生成表征训练图像间关系的学习信号包括：

根据所述第一拆解特征生成初始监督信号，以及根据第二拆解特征生成初始学习信号；