[发明专利]基于空洞卷积的立体图像质量评价方法

说明书

本发明属图像处理领域，为提出一种多尺度的立体图像质量评价方法。充分表征图像。为此，本发明采取的技术方案是，基于空洞卷积的立体图像质量评价方法，首先通过融合算法将左右视图处理为融合图，将其作为所搭建的多尺度卷积神经网络模型的输入，网络有三个多尺度单元，每个多尺度单元对图像进行三种不同尺度的特征提取，并将三种不同尺度的特征融合；三个多尺度单元级联，组成网络的主体，最终通过全局池化层与全连接层得到立体图像质量预测分数。本发明主要应用于图像处理场合。

技术领域

本发明属图像处理领域，涉及到深度学习在立体图像质量评价中的应用与优化，以及人脑信息处理过程中的多尺度效应和人眼视觉特性在立体图像质量客观评价中的应用。

背景技术

立体成像技术是当今人类获取视觉信息的主要方式之一。如今，立体成像技术逐步发展，在影视、教育、传媒、虚拟现实技术等领域都起了至关重要的作用。立体成像技术的广泛应用使得立体图像质量评价技术受到越来越多的关注[1]。在图像处理过程中，由于压缩、传输、编码或解码等操作，图像的质量或多或少地通过图像传输通道下降。因此，有必要对图像的质量退化进行识别和评价。有效的立体图像质量评价技术不仅可以高效、准确地提供立体图像的质量分数，而且还可以指导立体图像处理和显示技术的发展。

与二维图像质量评价类似，立体图像质量评价方法可以分为两类：人工观察的主观评估和机器算法的客观评估。由于人眼是图像的最终接受者，主观评价被认为是评价图像感知质量最可靠的方法。但主观评价方法费时费力，且极不方便。因此，近年来，客观评价方法越来越受到人们的关注。

根据参考图像的可用性，立体图像质量评价算法也大致可以分为三类。第一类是全参考评价方法[2-7]。文献[1]中对双目空间敏感图进行建模，并在此基础上提出了将双目空间敏感图纳入质量评价的框架来估计立体图像的质量。文献[4]首先从训练数据库中学习多尺度字典，然后根据估计的稀疏系数向量计算稀疏特征相似度指数和全局亮度相似度指数，最后，采用基于稀疏能量和稀疏复杂度的双目组合得到最终的质量分数。第二种就是半参考评价方法[8-11]。文献[9]提出了一种基于分裂归一化图像表示的RR-IQA算法，该算法被认为是一种成功的生物视觉感知敏感性建模方法。第三种是无参考评价方法[12-18]。文献[12]中提出了一种无参考的评价方法，分别从左右视图中提取显著性和纹理信息，然后将提取的特征结合起来得到质量分数。由于在实际中获取参考图像并不容易，因此NR-SIQA得到了研究者的广泛研究。因此，本发明提出了一种NR-SIQA方法。