[发明专利]基于多分支相似度网络的无参考图像质量评价方法

权利要求书

1.一种基于多分支相似度网络的无参考图像质量评价方法，其特征在于，利用多分支卷积模块从输入的失真图像中自适应提取多分支特征，针对相似度融合模块中3个卷积分支的输出特征进行两两之间的相似度计算，并与多个分支的输出特征矩阵并联输出，利用一个全连接层预测失真图像的质量分数；该质量评价方法的具体步骤包括如下：

(1)构建多分支卷积模块：

(1a)构建一个由Inception v4网络的前4个单元组成的多分支卷积模块；

(1b)将在ImageNet数据集上预训练过的Inception v4网络的前4个单元参数，设置为多分支卷积模块各层初始化参数；

(2)构建相似度融合模块：

(2a)构建含有3个卷积分支和1个池化分支的相似度融合模块，并设置参数；

(2b)按照下式，计算3个卷积分支输出特征两两之间的相似度矩阵，得到3个特征相似度矩阵：

其中，Sim_i,j表示第i个卷积分支和第j个卷积分支的特征相似度矩阵，h_i或h_j分别表示3个卷积分支中的第i个分支或第j个分支的输出特征矩阵，表示矩阵的点乘操作；

(2c)将3个特征相似度矩阵与4个分支的输出特征矩阵并联，组成相似度融合模块的输出；

(2d)随机初始化设置相似度融合模块中的各层参数；

(3)构建多分支相似度网络：

将多分支卷积模块和相似度融合模块连接后，再与一个全连接层相连，组成多分支相似度网络；

(4)生成无参考的训练集和测试集：

(4a)将自然图像公知数据集中所有的参考图像及其对应的失真图像的主观评价质量分数映射到[0,100]区间，保存失真图像和对应的映射后主观评价质量分数；

(4b)按照参考图像随机划分所有的失真图像，将其中80％的参考图像对应的失真图像组成训练集，其余20％的参考图像对应的失真图像组成测试集，测试集在图像内容上与训练集没有重叠，训练集和测试集中的失真图像都是无参考的；

(5)训练多分支卷积特征相似度网络：

(5a)将训练集中的每张失真图像随机裁剪成384×384的图像块后，输入到多分支卷积特征相似度网络中，得到预测质量分数和两类网络参数W与b，其中，W表示多分支卷积特征相似度网络中边连接的权值向量，b表示多分支卷积特征相似度网络中下一层对上一层的偏置，随机初始化参数W和b；

(5b)将训练集中的失真图像依次输入到多分支相似度网络中，计算多分支卷积特征相似度网络预测质量分数与主观质量分数的Huber距离，作为多分支卷积特征相似度网络的损失值，用随机梯度下降法，更新参数W和b，使得多分支卷积特征相似度网络损失值逐渐减小，直到满足多分支相似度网络的损失值L≤5或者循环迭代轮数达到t＝200时停止训练，得到训练好的多分支相似度网络；

(6)输出测试集中每张失真图像的质量评价分数值：

将测试集中的无参考的失真图像依次输入到训练好的多分支相似度网络中，利用多分支相似度网络输出无参考的失真图像对应的图像质量评价分数值。

2.根据权利要求1所述的基于多分支相似度网络的无参考图像质量评价方法，其特征在于：步骤(2a)中所述的相似度融合模块的参数设置如下：

第1个分支和第4个分支分别包含1个特征映射图总数为96，卷积核大小为1×1，卷积运算的步长为1的卷积层；

第2个分支包含2个卷积层：1个特征映射图总数为64，卷积核大小为1×1，卷积运算的步长为1的卷积层；1个特征映射图总数为96，卷积核大小为3×3，卷积运算的步长为1，填充像素数为1的卷积层；

第3个分支包含3个卷积层：1个特征映射图总数为64，卷积核大小为1×1，卷积运算的步长为1的卷积层；2个特征映射图总数为96，卷积核大小为3×3，卷积运算的步长为1，填充像素数为1的卷积层。

3.根据权利要求1所述的基于多分支相似度网络的无参考图像质量评价方法，其特征在于：步骤(5b)中所述计算多分支相似度网络预测的质量分数与主观质量分数的Huber距离的公式如下：

其中，L表示多分支相似度网络的损失值，S表示训练集中的失真图像输入到多分支相似度网络后输出的预测质量分数，T表示训练集中失真图像的主观评价质量分数。

4.根据权利要求1所述的基于多分支相似度网络的无参考图像质量评价方法，其特征在于，步骤(5b)中所述的用随机梯度下降法，更新参数W和b的步骤如下：

第一步，按照下式，更新多分支相似度网络中的每个参数：

θ′_k＝θ_k-α×G_k

其中，θ′_k表示多分支相似度网络更新后的第k个参数，θ_k表示多分支相似度网络更新前的第k个参数，α表示更新参数时的学习率，α∈[0,1]，G_k表示多分支相似度网络损失值对网络更新前的第k个参数的偏导数；

第二步，将训练数据输入到参数更新后的多分支相似度网络中，计算参数更新后多分支相似度网络输出的预测质量分数与主观质量分数的Huber距离，作为参数更新后的多分支相似度网络的损失值；

第三步，判断参数更新后的多分支相似度网络满足网络的损失值L≤5或者循环迭代轮数达到t＝200，若是，则得到训练好的多分支相似度网络，否则，执行第一步。