[发明专利]图像标注模型的训练及图像标注的方法及装置

权利要求书

1.一种图像标注模型的训练方法，所述图像标注模型用于对具有分类标签的图像进行像素级的标注，所述图像标注模型包括特征提取模块、原型提取模块、修正模块、分类模块，所述方法包括：

从样本集中获取第一图像和第二图像，其中，第一图像和第二图像都具有图像级的第一类别标签；

通过预训练的特征提取模块分别处理所述第一图像、所述第二图像，得到对应的第一特征图、第二特征图；

利用所述原型提取模块，分别从所述第一特征图、所述第二特征图提取多个原型向量，单个原型向量对应着相应特征图上的单个特征点，且对应有满足激活条件的相应激活值；

经由修正模块，针对从所述第一特征图、第二特征图提取的各个原型向量，进行两两相似性比较，并按照单个原型向量与其他原型向量的最大相似度，将所述第一特征图、第二特征图分别修正得到第一修正特征图、第二修正特征图；

根据所述第一修正特征图、第二修正特征图，利用分类模块对第一图像、第二图像分别进行分类，得到各自对应的分类结果，所述分类结果包括像素级的标注结果；

基于所述分类结果确定图像标注模型的模型损失，从而以模型损失最小化为目标，调整图像标注模型的待定参数。

2.根据权利要求1所述的方法，其中，所述特征提取模块包括由多个卷积层构成的第一卷积块，所述第一卷积块中的各个卷积层的卷积结果的通道数相同，所述第一特征图包括所述第一卷积块中的多个卷积层对所述第一图像进行卷积操作的各个卷积结果，所述第二特征图包括所述第一卷积块中的多个卷积层对所述第二图像进行卷积操作的各个卷积结果。

3.根据权利要求1所述的方法，其中，所述利用原型提取模块，分别从第一特征图、第二特征图提取多个原型向量包括，经由以下方式从第一特征图提取多个原型向量：

检测第一特征图中，各个特征点分别对应的各个激活值，其中，单个特征点的单个激活值与该单个特征点在各个通道的特征值的绝对值均为正相关；

从满足激活条件的特征点中选择出多个特征点，作为候选特征点；

针对单个候选特征点，根据其在各个通道的特征值，构建相应的单个原型向量。

4.根据权利要求3所述的方法，其中，所述激活条件为激活值大于预定激活阈值；所述从满足激活条件的特征点中选择出多个特征点，作为候选特征点包括以下中的至少一项：

将激活值大于预定激活阈值的特征点全部作为候选特征点；

从激活值大于预定激活阈值的特征点中随机选择预定数量的特征点部作为候选特征点；

在激活值大于预定激活阈值的特征点中，按照激活值由大到小的顺序选择预定数量的特征点部作为候选特征点。

5.根据权利要求1所述的方法，其中，所述按照单个原型向量与其他原型向量的最大相似度，将所述第一特征图、第二特征图分别修正得到第一修正特征图、第二修正特征图包括：

针对单个原型向量，将该单个原型向量与其他原型向量的最大相似度作为其在第一特征图/第二特征图上对应的单个特征点的特征值的置信度；

将第一修正特征图/第二修正特征图中，该单个特征点的各个特征值分别按照所述置信度与相应的特征值的乘积进行修正，从而将所述第一特征图、第二特征图分别修正为相应的第一修正特征图、第二修正特征图。

6.根据权利要求1所述的方法，其中，所述模型损失包括针对第一图像的第一损失和针对所述第二图像的第二损失，针对所述第一图像，所述分类结果包括像素级的第一标注结果，以及图像级的第一分类结果，所述第一损失包括：

经由所述第一分类结果与所述第一类别标签的对比确定的第一分类损失；以及

由所述第一标注结果与利用所述第一特征图确定的第二标注结果的对比确定的第一修正损失。

7.根据权利要求6所述的方法，其中，所述第一分类损失通过所述第一分类结果与所述第一类别标签的交叉熵确定。