[发明专利]基于多分支相似度网络的无参考图像质量评价方法

摘要

本发明公开了基于多分支相似度网络的无参考图像质量评价方法，其步骤为：构建多分支卷积模块和相似度融合模块，构建多分支相似度网络，生成无参考的训练数据集和测试数据集，训练多分支卷积特征相似度网络，输出测试集中每张失真图像的质量评价分数值。本发明多分支卷积模块自适应提取图像的分层特征，通过相似度融和降低图像特征与图像内容的相关性，具有评价无参考图像质量时结果更加准确、应用场景更广泛的优点。

主权项

1.一种基于多分支相似度网络的无参考图像质量评价方法，其特征在于，利用多分支卷积模块从输入的失真图像中自适应提取质量感知特征，利用相似度融合模块计算多分支特征两两之间的相似度并与多个分支的输出特征矩阵并联输出，利用一个全连接层预测失真图像的质量分数；该方法具体步骤包括如下：/n(1)构建多分支卷积模块：/n(1a)构建一个由Inception v4网络的前4个单元组成的多分支卷积模块；/n(1b)将在ImageNet数据集上预训练过的Inception v4网络的前4个单元参数，设置为多分支卷积模块各层初始化参数；/n(2)构建相似度融合模块：/n(2a)构建含有3个卷积分支和1个池化分支的相似度融合模块；/n(2b)按照下式，计算3个卷积分支输出特征两两之间的相似度矩阵，得到3个特征相似度矩阵：/n /n其中，Sim_i,j表示第i个卷积分支和第j个卷积分支的特征相似度矩阵，h_i或h_j分别表示3个卷积分支中的第i个分支或第j个分支的输出特征矩阵，表示矩阵的点乘操作；/n(2c)将3个特征相似度矩阵与4个分支的输出特征矩阵并联，组成相似度融合模块的输出；/n(2d)随机初始化设置相似度融合模块中的各层参数；/n(3)构建多分支相似度网络：/n将多分支卷积模块和相似度融合模块连接后，再与一个全连接层相连，组成多分支相似度网络；/n(4)生成无参考的训练集和测试集：/n(4a)将自然图像公知数据集中所有的参考图像及其对应的失真图像的主观评价质量分数映射到[0,100]区间，保存失真图像和对应的映射后主观评价质量分数；/n(4b)按照参考图像随机划分所有的失真图像，将其中80％的参考图像对应的失真图像组成训练集，其余20％的参考图像对应的失真图像组成测试集，测试集在图像内容上与训练集没有重叠，训练集和测试集中的失真图像都是无参考的；/n(5)训练多分支卷积特征相似度网络：/n(5a)将训练集中的每张失真图像随机裁剪成384×384的图像块后，输入到多分支卷积特征相似度网络中，得到预测质量分数和两类网络参数W与b，其中，W表示多分支卷积特征相似度网络中边连接的权值向量，b表示多分支卷积特征相似度网络中下一层对上一层的偏置，随机初始化参数W和b；/n(5b)将训练集中的失真图像依次输入到多分支相似度网络中，计算多分支卷积特征相似度网络预测质量分数与主观质量分数的Huber距离，作为多分支卷积特征相似度网络的损失值，用随机梯度下降法，更新参数W和b，使得多分支卷积特征相似度网络损失值逐渐减小，直到满足多分支相似度网络的损失值L≤5或者循环迭代轮数达到t＝200时停止训练，得到训练好的多分支相似度网络；/n(6)输出测试集中每张失真图像的质量评价分数值：/n将测试集中的无参考的失真图像依次输入到训练好的多分支相似度网络中，利用多分支相似度网络输出无参考的失真图像对应的图像质量评价分数值。/n