[发明专利]图像标注模型的训练及图像标注的方法及装置

说明书

本说明书实施例提供一种图像标注模型的训练及图像标注的方法及装置。通过本说明书实施例提供的方法和装置，针对训练集中的图像，可以通过图像级的类别标签进行像素级的标注。在具体图像标注模型训练及图像标注过程中，通过原型向量对不同图像之间的特征进行交叉比较，从而进一步挖掘图像中的目标区域，还可以筛除非目标区域，实现弱监督下的目标分割任务。在损失确定过程中，不仅考虑分类损失，还考虑修正后的分割结果与本来的分割结果之间的相似性，从而使得分割结果更加稳定。

技术领域

本说明书一个或多个实施例涉及计算机技术领域，尤其涉及图像标注模型的训练及图像标注的方法及装置。

背景技术

图像处理在日常生产或生活中有着广泛的应用。例如：基于镭射等技术的激光防伪检测、文档区域分割、全景分割、目标识别等等。在这些应用中，用图像级标签训练的弱监督图像分割通常在伪真值的生成过程中对目标区域造成不准确覆盖。这是因为对象激活图是用分类目标训练的，并且缺乏概括的能力。为了更准确地将目标和背景分离开来，通常涉及像素级的标注，即逐像素标注类别。这可能给标注工作带来极大人力消耗。

发明内容

本说明书一个或多个实施例描述了一种图像标注模型的训练方法及装置，以及使用训练好的图像标注模型进行目标标注的方法及装置，用以解决背景技术提到的一个或多个问题。

根据第一方面，提供一种图像标注模型的训练方法，所述图像标注模型用于对具有分类标签的图像进行像素级的标注，所述图像标注模型包括特征提取模块、原型提取模块、修正模块、分类模块，所述方法包括：从样本集中获取第一图像和第二图像，其中，第一图像和第二图像都具有图像级的第一类别标签；通过预训练的特征提取模块分别处理所述第一图像、所述第二图像，得到对应的第一特征图、第二特征图；利用所述原型提取模块，分别从所述第一特征图、所述第二特征图提取多个原型向量，单个原型向量对应着相应特征图上的单个特征点，且对应有满足激活条件的相应激活值；经由修正模块，针对从所述第一特征图、第二特征图提取的各个原型向量，进行两两相似性比较，并按照单个原型向量与其他原型向量的最大相似度，将所述第一特征图、第二特征图分别修正得到第一修正特征图、第二修正特征图；根据所述第一修正特征图、第二修正特征图，利用分类模块对第一图像、第二图像分别进行分类，得到各自对应的分类结果，所述分类结果包括像素级的标注结果；基于所述分类结果确定图像标注模型的模型损失，从而以模型损失最小化为目标，调整图像标注模型的待定参数。

在一个实施例中，所述特征提取模块包括由多个卷积层构成的第一卷积块，所述第一卷积块中的各个卷积层的卷积结果的通道数相同，所述第一特征图包括所述第一卷积块中的多个卷积层对所述第一图像进行卷积操作的各个卷积结果，所述第二特征图包括所述第一卷积块中的多个卷积层对所述第二图像进行卷积操作的各个卷积结果。

在一个实施例中，所述利用原型提取模块，分别从第一特征图、第二特征图提取多个原型向量包括，经由以下方式第一特征图提取多个原型向量：检测第一特征图中，各个特征点分别对应的各个激活值，其中，单个特征点的单个激活值与该单个特征点在各个通道的特征值的绝对值均为正相关；从满足激活条件的特征点中选择出多个特征点，作为候选特征点；针对单个候选特征点，根据其在各个通道的特征值，构建相应的单个原型向量。

在一个实施例中，所述激活条件为激活值大于预定激活阈值；所述从满足激活条件的特征点中选择出多个特征点，作为候选特征点包括以下中的至少一项：将激活值大于预定激活阈值的特征点全部作为候选特征点；从激活值大于预定激活阈值的特征点中随机选择预定数量的特征点部作为候选特征点；在激活值大于预定激活阈值的特征点中，按照激活值由大到小的顺序选择预定数量的特征点部作为候选特征点。