[发明专利]基于排序约束的图像分割质量评价网络系统、方法

说明书

本发明公开了图像分割技术领域的一种基于排序约束的图像分割质量评价网络系统、方法，实现了对分割谱质量的精准预测，尤其是对分割谱间质量关系的精准预测。网络系统包括：参数共享的质量评价子网络Q1和Q2，质量评价子网络Q1是孪生网络，包含两个参数共享的特征提取支流C1和C2、一个特征转换模块以及一个质量预测模块；特征转换模块将支流C1和C2提取的第一特征进行融合，转换成第二特征；质量预测模块将第二特征映射成质量预测值；质量评价子网络Q2与质量评价子网络Q1结构相同。

技术领域

本发明属于图像分割技术领域，具体涉及一种基于排序约束的图像分割质量评价网络系统、方法。

背景技术

图像分割是是计算机视觉和图像处理领域的主要研究之一，旨在提取图像中的语义对象区域，为计算机提供简洁、有效的内容信息，是解决图像分析和内容理解等诸多高级视觉任务的关键步骤。研究者在图像分割方面进行了大量研究，针对不同领域提出了诸多方法，然而这些方法通常解决某种具体问题，只能针对部分图像进行精准分割，因此现有单一分割方法无法适用于所有图像实现精准分割。

现有图像分割质量评价方法在训练过程中通过计算分割结果与人工标注间的平均误差优化模型参数。这种方式只能降低预测的平均误差、提升预测的平均精度，但是无法准确反映两张分割结果间的质量关系。例如由两种算法在同一图片上生成的两张分割结果A和B，其真实质量得分分别为Sa和Sb，且有SaSb，现有质量评价方法预测的质量得分f(A)＝Sa-delta和f(B)＝Sb+delta，两者间的排序关系是f(A)f(B)。尽管预测结果f(A)和f(B)均接近于真实质量得分Sa和Sb，但是f(A)和f(B)间的关系显然与Sa和Sb间的排序关系相反，无法正确预测两种分割结果间的质量排序关系。

发明内容

为解决现有技术中的不足，本发明提供一种基于排序约束的图像分割质量评价网络系统、方法，实现了对分割谱的精准预测，尤其是对分割谱间质量关系的精准预测。

为达到上述目的，本发明所采用的技术方案是：一种基于排序约束的图像分割质量评价网络系统，包括：参数共享的质量评价子网络Q1和Q2；所述质量评价子网络Q1是孪生网络，包含两个参数共享的特征提取支流C1和C2、一个特征转换模块以及一个质量预测模块；所述特征转换模块将支流C1和C2提取的第一特征进行融合，转换成第二特征；所述质量预测模块将所述第二特征映射成质量预测值；所述质量评价子网络Q2与所述质量评价子网络Q1结构相同。

进一步地，所述支流C1的输入为分割前景图像If1，所述支流C2的输入为分割背景图像Ib1；其中，If1由图片I和分割谱S1进行元素级相乘获得：If1＝I⊙S1；分割背景图像Ib1由图片I和分割谱的反转谱1-S1进行元素级相乘获得：Ib1＝I⊙(1-S1)。

进一步地，所述支流C1包括一系列卷积层和池化层，用于从图像中提取前景和背景的初始特征。

进一步地，所述特征转换模块包括级联层和卷积层，所述级联层用于将两个第一特征进行融合，所述卷积层将融合后的特征进行映射和降维，得到第二特征；所述质量预测模块包括一个全连接模块和一个输出模块，全连接模块包括两层全连接层，用于将第二特征转换成全局特征，输出模块包括一层全连接层和sigmoid层，用于将全局特征回归成一个[0,1]之间的标量，表示对当前分割谱质量的预测值。

进一步地，质量预测损失L1是所述质量评价子网络Q1的损失函数，质量预测损失L2是所述质量评价子网络Q2的损失函数，排序损失Lr用于约束质量评价子网络Q1和质量评价子网络Q2预测值间的大小排序关系；所述质量预测损失L1和所述质量预测损失L2采用Euclidean损失函数；所述排序损失Lr采用MarginRankingLoss作为损失函数。

一种基于排序约束的图像分割质量评价方法，包括：基于训练完成的基于排序约束的图像分割质量评价网络系统RSQAN，构建基于排序约束的图像分割质量预测网络系统RSQPN；以图像及其分割谱作为RSQPN的输入，用RSQPN输出的预测值评价当前分割谱的质量。