[发明专利]一种基于孪生网络的对比学习图像质量评估方法

权利要求书

1.一种基于孪生网络的对比学习图像质量评估方法，其特征在于，包括如下步骤：

步骤S1、将待训练的图像做局部对比度归一化处理，然后划分为图像块，并生成图像对；

步骤S2、设计孪生卷积神经网络的结构，并采用所设计的网络训练图像质量评估模型；

步骤S3、将待测图像划分为图像块，并生成图像对；利用训练好的模型预测所生成的所有待预测图像对的质量优劣，得出所有图像的质量排名，根据排名得出每张图像的质量分数；

所述步骤S2具体实现如下：

步骤S21、设计一孪生卷积神经网络的结构，网络由两个子网络组成：子网络I和子网络II；子网络I由两个完全相同分支结构组成，并且两个分支结构间共享权重，每个分支结构由N个层叠卷积结构构成，子网络I的任务是提取出两个输入图像块的特征；子网络II由M个全连接层组成；将由子网络I提取出来的特征进行融合，将融合后的特征作为子网络II的输入，子网络II根据融合特征来分辨两张输入图像质量好坏；

步骤S22、孪生卷积神经网络使用N个层叠卷积对图像信息进行抽象和学习，然后通过两个全连接层提取图像特征，同时输入到一个分类网络进行质量评估分数优化学习；分类网络的任务是区分出两张输入图像块的质量优劣，即该分类网络最后的输出是两张输入图像块质量优劣的概率，取其中概率大的所对应的图像块质量好于概率小的所对应图像块；

步骤S23、在训练阶段，使用交叉熵作为损失函数，其公式如下：

其中，N代表图像对的数量；是一个二维的向量，用来表示两张图像质量好坏；也是一个二维向量，表示第一张图像比第二张图像质量好的概率，相反地，第二张图像比第一张图像好的概率为

2.根据权利要求1所述的一种基于孪生网络的对比学习图像质量评估方法，其特征在于，所述步骤S1具体实现如下：

步骤S11、先将待训练的图像做局部对比度归一化处理，给定强度图像I(i,j)，计算归一化值的公式如下：

其中，C为常数，用于防止分母为零的情况出现；K和L为归一化窗口大小，ω_k,l是2D循环对称高斯加权函数；

步骤S12：将所有局部对比度归一化处理后的图像划分成若干个h×w大小的图像块，利用每个图像块的标准差值对所有图像块进行排序，取中间的n个图像块作为训练数据；

步骤S13、将从所有训练图像中选取出来的图像块进行两两组合，从而生成图像对；图像对组合的原则包含以下几点：1)同一张图像的图像块不进行组合；2)若图像块A和图像块B生成了图像对，则B不再和A组合；3)图像对间的质量分数差异超过一预定阈值时，才进行组合，否则不进行组合。

3.根据权利要求1所述的一种基于孪生网络的对比学习图像质量评估方法，其特征在于，所述步骤S3具体实现如下：

步骤S31、先将待测图像做局部对比度归一化处理，然后划分成大小为h×w的图像块；利用每个图像块的标准差值对所有图像块进行排序，取排名居于中间的n个图像块作为训练数据；

步骤S32、将图像块进行两两对比，对比的规则如下：1)不与出自同一待测图像的图像块对比；2)每个图像块要和测试集中除自身图像的图像块以外的其他所有图像块对比；

步骤S33、通过统计每张图像和其他图像对比的结果来获得每张图像的相对得分，图像A的最终图像质量评估分数的计算公式如下：

其中，P_A,B表示图像A和图像B对比的结果，P_A,B＝1代表图像A的质量比B好，否则图像B的质量比A好；N代表每张图像和其它图像比较的张数，假设测试集由T张测试图像组成，每张图像选取n个图像块进行测试，则N＝(T-1)×n；S_A表示该张图像的得分。