[发明专利]基于跨图像关联的弱监督图像语义分割方法、系统、装置

说明书

本发明属于深度学习、计算机视觉及模式识别领域，具体涉及了一种基于跨图像关联的弱监督图像语义分割方法、系统、装置，旨在解决弱监督采用的粗略标注带来的语义分割目标不完整、定位不准确、语义类别判断不准确的问题。本发明包括：通过跨图像间关联关系模块从多张同类别物体的图像间获取互补信息，得到融合特征；基于融合特征进行图像语义分割模型的训练；通过训练好的模型，获取单张输入图像或多张同类别物体图像组的语义分割结果。本发明从粗略的弱图像标注生成像素级的伪图像标注，并在模型训练过程中，从不同图像间获取互补信息，来弥补伪图像标注不全的不足，能够在仅依赖图像级标注的情况下，显著地提高弱监督语义分割模型的性能。

技术领域

本发明属于深度学习、计算机视觉及模式识别领域，具体涉及了一种基于跨图像关联的弱监督图像语义分割方法、系统、装置。

背景技术

语义分割是计算机视觉中的一个基础任务，它的目标是给图片中每个像素标注一个对应的语义类别，它对后续的图像理解、图像编辑等任务起到了重要的作用，例如交通场景行人分割、医疗场景病灶分割、军事场景航拍图分割等。目前较为成熟的语义分割技术，基本上都是基于深度学习的方法，然而，深度学习网络的训练通常需要利用大量人力和时间来完成训练图像的精细手工标注，十分耗时耗力，同时也很难保证标注的准确性和一致性。

弱监督语义分割致力于仅采用平价易得的粗略弱监督标注进行深度学习网络的训练，从而减少对人工的依赖。然而，由于仅采用粗略的标注，弱监督的语义分割通常面临目标预测不完整，定位不准确等问题。

总的来说，现有的基于深度学习的语义分割方法对于训练样本的标注要求较高，不仅耗时耗力，还很难保证标注的准确性和一致性，而基于弱监督的语义分割方法虽然对于标注的要求较低，但同时也带来了语义分割结果的目标预测不完整，定位不准确、语义类别判断不准确等问题。

发明内容

为了解决现有技术中的上述问题，即弱监督采用的粗略标注带来的语义分割目标不完整、定位不准确、语义类别判断不准确的问题，本发明提供了一种基于跨图像关联的弱监督图像语义分割方法，该图像语义分割方法包括：

步骤S10，获取同类别物体的单张图像/图像组作为输入图像，并提取所述输入图像对应的特征图/特征图组；分别以所述特征图作为第一特征图、第二特征图/在所述特征图组中以任一特征图作为第一特征图，其他特征图作为第二特征图；

步骤S20，对于所述第一特征图的每一个像素位置，分别计算其对应的特征与各第二特征图中每一个像素位置的特征之间的关联度；

步骤S30，以所述关联度作为特征加权的权重，对各第二特征图的特征进行加权，获得第一特征图的互补特征图；

步骤S40，将所述互补特征图与第一特征图融合，获得输入图像的融合特征图；

步骤S50，基于所述输入图像的融合特征图，通过图像语义分割模型，获取输入图像的语义分割结果。

在一些优选的实施例中，该图像语义分割方法还设置有特征预处理的步骤，其方法为：

通过卷积、激活函数、最大值池化、均值池化中的一种或多种方法进行特征预处理。

在一些优选的实施例中，所述输入图像包括一张或多张同类别物体的图像。

在一些优选的实施例中，步骤S20之前还设置有图像下采样的步骤，其方法为：

分别通过最近邻插值法、双线性插值法、均值插值法、中值插值法、深度模型层中的一种方法进行所述第二特征图的图像下采样。

在一些优选的实施例中，所述图像语义分割模型，其训练方法为：

步骤B10，获取同类别物体的图像组集合及其对应的弱标签图像标注作为训练样本集合；所述图像组包括多张同类别物体的图像；