[发明专利]基于空间注意力机制的无参考图像质量评价方法

说明书

本发明公开了一种基于空间注意力机制的无参考图像质量评价方法，具体包括如下步骤：步骤1，将失真图像输入到特征提取网络中，提取失真图像的多尺度深层语义特征；步骤2，将步骤1所得结果输入到空间域注意力模块中，提取多尺度语义特征的空间域注意力特征；步骤3，对步骤2所得结果使用拼接方式进行融合，得到失真图像的多尺度空间注意力融合特征；步骤4，对步骤3所得结果使用拼接方式进行融合，得到最终输入到回归网络的融合特征；步骤5，将经步骤4得到的融合特征输入到回归网络中，得到图像的预测得分。采用本发明能够捕捉图像中不均匀的局部失真，将局部失真与全局失真结合起来，使图像质量评价预测得更为准确。

技术领域

本发明属于图像分析及图像处理技术领域，涉及一种基于空间注意力机制的无参考图像质量评价方法。

背景技术

数字图像在当今时代几乎无处不在，正通过移动设备、社交媒体等渗透到人们的日常生活中。然而，由于处理不当、恶劣的天气环境或压缩过程中造成的失真等多种原因，图像可能会出现多次失真、损坏或压缩伪影的情况。因此，评估其感知质量对于图像通信和图像处理至关重要。

客观质量评价可以根据原始信息的可用性分为三类：全参考(FR-IQA)，半参考(RR-IQA)和无参考(NR-IQA)方法。全参考图像质量评价具有原始参考图像的完全可访问性，这允许该方法确定失真图像与原始图像之间的差异并计算失真图像的相对退化。而半参考方法中只有部分原始图像的信息可用。由于在现实中时常缺乏足够的参考图像数据，无法通过将失真图像与原始图像相关联来对失真图像进行质量预测。因此，不需要参考图像进行质量预测的无参考图像质量评价方法更有实际意义。然而，由于缺乏原始信息，NR-IQA是比其他两种方法更具挑战性的方法。由于人类视觉系统需要通过将失真图像与原始图像进行比较来确定图像的感知偏差，因此具有类似工作原理的全参考方法可以取得与人类视觉系统类似的效果。而无参考方法缺乏基本信息，导致评估精度低于全参考方法且难度更大。

随着深度学习的崛起，基于深度学习的无参考方法的评估精度快速提升，表现出优于传统方法的预测性能。我们观察到大多数眼睛注视与更严重的失真区域密切相关。在感知失真图像时，注意力与失真类型分类和感知质量预测密切相关。

发明内容

本发明的目的是提供一种基于空间注意力机制的无参考图像质量评价方法，采用该方法能够捕捉图像中不均匀的局部失真，将局部失真与全局失真结合起来，使图像质量评价预测得更为准确。

本发明所采用的技术方案是，基于空间注意力机制的无参考图像质量评价方法，具体包括如下步骤：

步骤1，将失真图像输入到特征提取网络中，提取失真图像的多尺度深层语义特征；

步骤2，将经步骤1得到的失真图像的多尺度语义特征输入到空间域注意力模块中，提取多尺度语义特征的空间域注意力特征；

步骤3，将经步骤1得到的失真图像的多尺度深层语义特征与经步骤2得到的空间域注意力特征使用拼接方式进行融合，得到失真图像的多尺度空间注意力融合特征；

步骤4，将步骤3得到的失真图像的多尺度融合特征使用拼接方式进行融合，得到最终输入到回归网络的融合特征；

步骤5，将经步骤4得到的融合特征输入到回归网络中，得到图像的预测得分。

本发明的特点还在于：

步骤1的具体过程为：采用Resnet50网络提取失真图像特征，得到失真图像的多尺度深层语义特征矩阵：

其中，表示Resnet50网络模型，θ表示失真图像I_d在特征提取模块中的权重参数，v_∞表示失真图像I_d提取的多尺度深层特征。

步骤2的具体过程为：