[发明专利]基于最大化预测和标签间相关性损失函数的语义分割方法

说明书

本发明公开了一种基于最大化预测和标签间相关性损失函数的语义分割方法，包括：(1)将真实场景图片输入分割模型，获得预测图片；(2)用一个高斯核函数在预测图片和标签图片上进行滑动卷积，获得局部统计特征；(3)根据得到的局部统计特征，计算预测图片和标签图片中对应区域间的线性相关性强弱；(4)将线性相关性强弱的指标作为权重，调整图片中像素点的交叉熵损失的值并进行困难样本挖掘；(5)根据获得的损失值更新分割模型中的权重参数；(6)重复上述步骤直到训练结束，并进行语义分割的应用。利用本发明，可以使得分割模型在训练过程中，更多的关注那些导致预测和标签间低相关性的点，从而提升分割模型的图像分割效果。

技术领域

本发明属于计算机视觉中的图像语义分割领域，尤其是涉及一种基于最大化预测和标签间相关性损失函数的语义分割方法。

背景技术

语义分割是计算机视觉领域的一个基本问题，在无人驾驶、医疗影像分析、地理信息系统、机器人等领域中具有广泛的应用场景。实际中，图像的语义分割通常被考虑为图像中点的多分类问题，目标是将既定的语义标签分配给图像中的每个像素点。近年来，随着卷积神经网络的发展和各种具有较强学习能力的分割模型的提出，语义分割问题取得了很大的进展。一般情况下，这些模型都是通过最小化像素的平均分类损失来进行训练和优化。最常用的语义分割损失函数是softmax交叉熵损失函数：

其中，N是图片中像素点的数目，C是待分类物体的类别数目，y∈{0,1}是类标签，代表着像素点的真实类别，p∈[0,1]是分割模型预测的概率，p通常由softmax操作给出。从以上公式可以看出，逐像素的交叉熵损失将图像中的点当作相互独立的样本，并将所有点的平均交叉熵损失作为模型预测结果的总损失。然而，图像中的点存在很强的依赖性，这些点与点之间的依赖关系隐藏着物体的结构信息。由于逐像素的损失函数忽略了点与点之间的关系，当前景的视觉特征较微弱或当像素点属于具有较小空间结构的物体时，由逐像素的损失函数监督所训练出的语义分割模型的分割效果通常不太理想。

为了利用图像中所包含的物体的结构信息，在2012年第26届神经信息处理系统进展大会Conference on Neural Information Processing Systems上的文章《EfficientInference in Fully Connected CRFs with Gaussian Edge Potentials》提出了一种高效的全连接条件随机场(Conditional Random Field,CRF)来拟合图像中的点与点之间的关系，并且驱使在真实图像中具有相似视觉外观的点的预测结果更加一致。但是，在CRF被当做一个后处理步骤时，它通常具有耗时的迭代推理过程并且对视觉外观变化敏感。

在2016年第30届神经信息处理系统进展大会关于对抗学习的研讨会Conferenceon Neural Information Processing Systems Workshop on Adversarial Training上的文章《Semantic Segmentation using Adversarial Networks》提出用对抗学习网络(GAN)的思想来训练分割模型，用一个额外的判别器网络来判断分割模型的预测图片与标签图片是否具有高层次的结构一致性。然而，GAN通常难以训练，并且在训练阶段需要较多的内存来同时存放深层的生成器网络和判别器网络。

在2018年的欧洲计算机视觉国际会议European Conference on ComputerVision上的文章《Adaptive Affinity Fields for Semantic Segmentation》提出了一种关联邻域损失(Affinity Field Loss)函数，这个损失函数对那些属于同一类别物体的邻居点的预测施加一个趋同的力，使得这些点的预测趋向相似；对不属于同一类物体的邻居点的预测施加一个分散的力，使得这些点的预测趋向不相似。由此可以增大邻居的同类点的预测相似度以及邻居的不同类点的不相似度，达到较好的分割效果。然而这种方法在计算损失函数的值时，需要保存邻居点对矩阵，一般需要数倍于原来计算损失函数值所需的内存空间。