[发明专利]基于孪生网络的增强图像质量评价方法

权利要求书

1.一种基于孪生网络的增强图像质量评价方法，包括如下：

(1)从CCID数据集中任意获取已知分数标签的图像作为训练样本集，从CCID数据集中任意获取不同于训练样本的已知分数标签的图像作为测试样本集；

(2)对训练样本集和测试样本集中每个标准图像x_s和其对应的失真图像x_d一一配对，组成图像对(x_s，x_d)，得到配对后的训练样本集和测试样本集；

(3)对每个图像对(x_s，x_d)中的两张图进行中心裁剪，剪裁为大小300×300的局部图像，再对局部图进行对比度归一化处理，得到预处理后训练样本集和测试样本集；

(4)构建由特征提取器和回归器构成孪生网络，该特征提取器是由两条结构相同的通路构成，其中每一条通路都是一组VGG16的卷积层，且这两条通路参数共享；该回归器为两层全连接层；

(5)训练孪生网络：

(5a)将预处理后训练样本集中所有图像对(x_s，x_d)中的两张图，分别输入到孪生网络的特征提取器两条通道中，并用最后一层卷积层的权重分别作为这两张图各自的特征向量f_s和f_d；

(5b)将两个特征向量f_s和f_d相减，作为特征差向量F_d，将差向量F_d输入到回归器中，训练回归器中的权重；

(5c)用随机梯度下降法和反向传播法微调网络中的所有权重，得到训练好的孪生网络；

(6)将配对后测试样本集中所有图像对(x_s，x_d)的两张图像分别输入到训练好的孪生网络中进行识别，得到图像对中失真图像的预测分数标签y_d。

2.根据权利要求1所述的方法，其中(3)中对局部图进行对比度归一化处理，通过如下公式进行：

其中I(x,y)为待处理图像，μ(x,y)和σ(x,y)分别是图像的对比度均值和方差，为位于图像块位置(x,y)归一化之后的值，c为一个正常数，L_M和L_N是归一化窗口尺寸。

3.根据权利要求1所述的方法，步骤(4)中的一组VGG16卷积层，包括有6层，各层的结构如下：

第一层卷积层的特征映射图总数设置为64、卷积核大小设置为3×3；

第二层卷积层的特征映射图总数设置为128、卷积核大小设置为3×3；

第三层和第四层卷积层特征映射图总数均设置为256、卷积核大小均设置为3×3；

第五层和第六层卷积层的特征映射图总数均设置为512、卷积核大小均设置为3×3。

4.根据权利要求1所述的方法，其中(4)中的回归器包括两层全连接层，每一层的结构如下：

第一层全连接层的网络输入节点设为2048，输出节点设为800；

第二层全连接层的网络输入节点设为800，输出节点设为1。

5.根据权利要求1所述的方法，其中(5c)中用随机梯度下降法和反向传播法微调网络中的所有权重，具体步骤如下：

(5c1)输入一个有标签的训练数据；

(5c2)计算网络的输出与所输入的训练数据的标签之间的差距，将该差距作为网络损失值；

θ′_k＝θ_k-α×G_k,

其中，θ′_k表示网络调整权重后的第k个权重，θ_k表示网络调整权重前的第k个权重，α表示调整权重时的学习率，α∈[0,1]，G_k表示网络损失值对网络调整权重前的第k个权重的偏导数；

(5c3)将所输入的训练数据输入到调整权重后的网络中，计算调整权重后网络的输出与所输入的训练数据的标签之间的差距，将该差距作为调整权重后网络的损失值；

(5c4)设阈值为学习率的十分之一，判断调整权重后网络的损失值是否小于该阈值，若是，则得到训练好的网络，否则，返回(5c1)。