[发明专利]基于多分支相似度网络的无参考图像质量评价方法

说明书

本发明公开了基于多分支相似度网络的无参考图像质量评价方法，其步骤为：构建多分支卷积模块和相似度融合模块，构建多分支相似度网络，生成无参考的训练数据集和测试数据集，训练多分支卷积特征相似度网络，输出测试集中每张失真图像的质量评价分数值。本发明多分支卷积模块自适应提取图像的分层特征，通过相似度融和降低图像特征与图像内容的相关性，具有评价无参考图像质量时结果更加准确、应用场景更广泛的优点。

技术领域

本发明属于图像处理技术领域，更进一步涉及图像质量评价技术领域中的一种基于多分支特征相似度网络的无参考图像质量评价方法。本发明可用于自动评价没有原始参考图像的数字图像的失真程度。

背景技术

随着成像设备的普及和信息技术的发展，数字图像已经成为了一种主要的信息载体，在越来越多的应用场合被处理、传递、存储以及重构。但是，这些过程中不可避免的会引入噪声导致图像失真，一幅“干净”的图像被噪声污染后，会降低人眼感知的舒适度，甚至影响人们对图像内容的正确理解。因此，图像的感知质量是比较各种数字图像处理算法性能优劣以及描述图像视觉体验的重要指标。无参考图像质量评价是指不需要任何参考信息，只将失真图像作为输入进行评估，建立预测的质量值与人的主观评价一致的数学模型。在实际应用场景中我们无法得到参考图像，如相机捕捉的模糊的运动场景，真实拍摄的欠曝光夜景图像，因此无参考图像质量评价具有更实际的应用场景和更大挑战性。

宁波大学在其拥有的专利技术“一种基于深度学习的无参考图像质量客观评价方法”(申请号：2015105233731，授权公告号：CN105208374B)中公开了一种基于堆栈自编码器的无参考图像质量评价方法。该专利技术主要解决传统方法特征不稀疏的问题。该专利技术实现步骤为：(1)利用多分辨率金字塔和高斯差分分解方法，从空域提取自然统计特征；(2)构建深度稀疏堆栈自编码器学习所提取的自然场景统计特征的深度表征；(3)通过支持向量机将经过深度表征映射为图像的质量分数。该专利技术虽然改进了传统的无参考图像质量评价技术，通过深度堆栈自编码器获取了更稀疏的质量感知特征。但是，该方法仍然存在的不足之处是，使用了手工提取的统计特征表达能力不强，难以自适应表征各种场景的失真图像质量，且最终预测的质量分数和主观一致性不高。

北京理工大学在其拥有的专利技术“一种基于预注意机制和空间依赖性的无参考图像质量评价方法”(申请号：2017103237474，授权公告号：CN107018410B)中公开了一种同时考虑灰度信息和颜色信息的无参考图像质量评价方法。该专利技术主要解决传统方法对颜色信息的利用不充分的问题。该专利技术实现步骤为：(1)将图像分解为颜色信息和灰度信息两部分；(2)应用尺度空间对灰度信息做处理；(3)计算彩色信息图和灰度信息图的灰度色调共生矩阵，完成特征提取；(4)利用基于学习的机器学习方法，把质量特征向量映射为对应的质量分数。该专利技术虽然改进了传统的无参考图像质量评价技术，提取了颜色信息中包含的质量感知特征。但是，该方法仍然存在的不足之处是，提取的图像特征与图像内容相关性较强，存在大量与质量评价无关的冗余。

Kwan-Yee Lin等人在其发表的论文“Hallucinated-IQA:No-Reference ImageQuality Assessment via Adversarial Learning”(IEEE Computer Vision and PatternRecognition,2018)中公开了一种基于生成学习的无参考图像质量评价方法。该方法首先训练了一个生成对抗网络生成待测图像的幻像参考图，然后计算待测图像和幻想图的差异图，并构建了一个回归网络根据差异图计算图像的质量分数。该方法通过生产的幻像参考图消除了图像中与质量评价无关的信息冗余，显著提高了预测结果和主观评价的一致性。但是，该方法仍然存在的不足之处是，训练生成对抗网络生成幻像参考图时需要参考信息，这限制该方法在真实拍摄的失真图像上的应用。

发明内容