[发明专利]面向层级语义衰减的无参考图像质量评价方法

说明书

本发明公开了一种面向层级语义衰减的无参考图像质量评价方法，主要解决现有评价技术准确度低的问题。其实现方案是：1.用图像层级语义衰减构建图像质量衰减的评价指标；2.划分图像数据集为训练数据集和测试数据集；3.对训练集图像和测试集图像进行去均值与裁剪；4.设计面向层级语义衰减的网络模型；5.利用训练数据集和测试数据集对面向层级语义衰减的网络模型进行训练；6.对待评价图像进行去均值与裁剪后输入到已训练好的面向层级语义衰减的网络模型，得到图像质量评价值。本发明极大地提高了无参考图像质量评价的精度，可用于视频质量监控、图像筛选、图像优化。

技术领域

本发明属于图像处理技术领域，特别涉及无参考图像质量评价方法，可以用于视频质量监控、图像筛选、图像优化。

技术背景

随着信息化时代的飞速发展，人们获取信息的方式从传统的纸质媒介转变为数字媒介，而图像和视频数据则是主要的信息来源。但是在实际的图像与视频生成、处理、传输和存储阶段，都会不可避免的受到不同程度的污染，使得信息交流变得困难，同时不同的应用场景需要的图像质量也不一样。因此图像质量评价变得不可或缺，建立完善实时的图像质量评价系统具有重要意义。

图像质量评价主要分为主观图像质量评价和客观图像质量评价。主观图像质量评价依赖于人的知识背景和观测环境，客观图像质量评价则是根据人眼的视觉系统来建立数学模型。客观图像质量评价依据评价算法对原始图像的依赖程度分为全参考、部分参考和无参考图像质量评价，由于全参考和部分参考图像质量评价算法需要原始未受污染的图像信息作为参考，这一条件在实际中很难满足，如航拍图像、医学图像等无原始参考图像，这类算法都在实际中的应用受到很大限制。基于参考图像难以获得这个问题，不需要任何原始图像信息的无参考质量评价开始兴起并逐渐成为热门研究方向。

早期的无参考图像质量评价技术主要是针对特定的噪声类型，这类方法假定影响图像质量的噪声种类已知，通过对特定噪声构建特征模，Wu在论文“An objective out-of-focus blurn measurement”根据模糊图像的边缘计算点扩散函数，将点扩散函数的半径作为受模糊噪声污染程度的度量。近年来，研究人员提出了非特定噪声类型的评价方法，通过对噪声构建特征，或者利用自然场景统计的方法NSS在空域或DCT域中提取NSS特征，提取特征后，利用传统数学方法或机器学习理论构建特征模型，然后用该模型去预测图像的质量。Ye在论文“No-reference image quality assessment based on visual codebook”使用频率滤波器提取图像的局部信息并投影到已经训练好的码本上，将投影系数作为特征向量输入SVR进行分析预测。但是，这些方法很难设计能充分表征图像质量衰减的特征。

随着神经网络的广泛应用，近期出现了很多基于CNN的无参考图像质量评价算法。Bosse等人在论文“Deep neural networks for no-reference and full-referenceimage quality assessment”中使用带标签的图像库训练一个端到端的卷积神经网络，其中10层卷积层和5层池化层用于特征提取，2层全连接层用于特征回归。Ma等人在论文中“End-to-end blind image quality assessment using deep neural networks”中设计了一个多任务端到端的优化深度神经网络，包含两个子网络：第一级网络用于鉴别噪声种类，第二级网络使用复杂梯度下降法进行训练，基于第一级网络的输出结果预测图像的质量。该方法也只是利用最后一层的输出作为特征表征来进行质量预测。对人类视觉系统HVS的研究表明，视觉识别是一个层次化的过程，因此在进行图像质量评价时，不同层次的质量衰减也应考虑。Wu等人在论文“Hierarchical feature degradation based blind imagequality assessment”中提出考虑人眼识别的层次化过程，评价不同层次的质量衰减，将底层局部结构特征与Resnet提取的高层语义特征相结合，然后使用SVR将合并后的特征映射成最终的质量分数。