[发明专利]一种基于孪生网络的对比学习图像质量评估方法

说明书

本发明涉及一种基于孪生网络的对比学习图像质量评估方法。首先，将待训练的图像做局部对比度归一化处理，然后划分为图像块，并生成图像对；其次，设计孪生卷积神经网络的结构，使用所设计的网络训练图像质量评估模型；最后，将待测图像划分为图像块，并生成图像对。利用训练好的模型预测所生成的所有待预测图像对的质量优劣，得出所有图像的质量排名，根据排名得出每张图像的质量分数。本发明方法提出将图像质量评价问题转换为图像块之间的质量对比问题，利用图像块间的两两对比，通过统计每张图和其他图像对比的结果来获得每张图像的质量得分，能显著提高无参照图像质量评估性能。

技术领域

本发明涉及图像和视频处理以及计算机视觉领域，特别是一种基于孪生网络的对比学习图像质量评估方法。

背景技术

数字图像在信息技术高度普及的今天显得尤为重要，但是图像在日常应用中，比如在图像的获取、压缩和传输等过程中往往会出现失真。为了更好地应用数字图像，图像质量评价变得尤为重要。随着卷积神经网络的发展，很多研究者开始利用卷积神经网络来进行无参考图像质量评价。目前已经有很多基于卷积神经网络的无参照图像质量评估算法被提出。例如，Kang等人将浅层的卷积神经网络应用到无参照图像评价中，其性能跟以前基于特征提取的无参照图像质量评价模型相比有一定提升。Hui等人提出用预训练的ResNet提取特征，他们没有直接学习图像质量评价分数，而是对网络进行微调，以学习失真图像的概率表示。Bosse等人提出基于深度卷积神经网络的无参考图像质量评估方法，使用更深的卷积神经网络进行训练，另外，他们还调整了网络使其能够处理全参考图像质量评价任务，这个模型是基于图像快的，他并没有考虑到图像质量分布不均匀所带来的影响。Kim等人利用全参考图像质量评估算法的局部得分作为标签对模型进行预训练，然后使用图像评价主观得分对模型进行微调，其性能依赖于所选择参考图像质量评估的性能。Ma等人提出使用大量的图像对来训练深度无参考图像质量评价模型，算法的前提是需要知道失真图像的失真类型和失真等级，然而在没有参考图像的实际应用中，失真类型和失真级别难以获取。

利用卷积网络训练出来的无参考质量评估模型的性能要比手工提取特征的方法提高不少，但是目前仍然存在挑战。其中一个挑战是缺乏训练样本。先前基于卷积神经网络的无参照图像质量评估方法主要通过两种方法来解决该问题，第一种方法是对图像进行分块，每个图像块使用完整图像的分数作为标签，然而图像的不同部分的质量是存在差异的，不同块使用完整图像的来进行标注并不准确。第二种方法是利用全参照质量评估方法来对图像进行标注，这种方法的缺陷是算法性能直接取决于全参照图像质量评价的性能。

发明内容

本发明的目的在于提供一种基于孪生网络的对比学习图像质量评估方法，该方法有利于提高无参照图像质量评估性能。

为实现上述目的，本发明的技术方案是：一种基于孪生网络的对比学习图像质量评估方法，包括如下步骤：

步骤S1、将待训练的图像做局部对比度归一化处理，然后划分为图像块，并生成图像对；

步骤S2、设计孪生卷积神经网络的结构，并采用所设计的网络训练图像质量评估模型；

步骤S3、将待测图像划分为图像块，并生成图像对；利用训练好的模型预测所生成的所有待预测图像对的质量优劣，得出所有图像的质量排名，根据排名得出每张图像的质量分数。

在本发明一实施例中，所述步骤S1具体实现如下：

步骤S11、先将待训练的图像做局部对比度归一化处理，给定强度图像I(i,j)，计算归一化值的公式如下：

其中，C为常数，用于防止分母为零的情况出现；K和L为归一化窗口大小，ω_k,l是2D循环对称高斯加权函数；