[发明专利]基于卷积神经网络的立体图像舒适度评价方法

说明书

本发明属于图像处理领域，为提出采用基于卷积神经网络的立体图像舒适度评价方法得到图像的评价分数，更好的拟合人类对立体图像主观评价值，能很好的对立体图像舒适度进行预测。为此，本发明采用的技术方案是，基于卷积神经网络的立体图像舒适度评价方法，将立体图像的左视图、右视图和视差图的信息合成为一幅图像作为网络的输入，通过卷积神经网络模拟人类感知来对所得图像进行处理，经训练得到权重系数，最后利用人眼视觉显著特性将图像块舒适值加权作为整体图像的舒适度值。本发明主要应用于图像处理。

技术领域

本发明属于图像处理领域，涉及立体图像舒适度客观评价方法改进优化。具体讲,涉及基于卷积神经网络的立体图像舒适度评价方法。

背景技术

立体图像在采集、压缩、储存、传输和显示等过程中由于受到外界的干扰，导致图像的降质，严重影响人们的观看体验。因此，对立体图像的舒适度进行评价是目前立体成像技术领域亟待解决的主要问题之一。

全参考立体图像质量评价在整个客观立体图像质量评价中具有非常重要的地位。有很多优秀的全参考立体图像质量评价算法被提出，它们大致可以分为两类。第一类评价方法的思想是基于最新的2D质量评价方法来评价3D图像质量。经典的2D像质量评价方法主要有峰值信噪比(PeakSignal-Noise Ratio，PSNR)、结构相似度(Structural Similarity，SSIM)、平均结构相似度(Mean SSIM，MSSIM)、视觉信噪比(Visual Signal-Noise Ratio，VSNR)、视觉信息保真度(Information Fidelity Criterion，VIF)等，把这些方法应用到立体图像对中，最后取左、右图像分数的平均值。第二类评价方法是将立体图像的视差图或深度图以不同的方式结合在算法框架中。如Benoit等[1]提出结合深度信息，利用4种平面图像质量评价算法，把左右图像质量和视差图像质量进行线性组合，评价立体图像，其评价结果与主观感知结果的一致性有待提高；You等[2]通过3种不同的方法，用左图像质量和视差图像质量的非线性组合来评价立体图像质量；Hewage等[3]通过提取深度图的边缘信息和与之对应的彩色信息，设计了一种彩色深度的立体视频质量评价方法；Chen等[4]对左右图像预处理，然后与视差图合成一幅图像，并且用SSIM算法进行全参考评价；段芬芳等[5]提取原始和失真图像水平、垂直和视点方向的梯度信息及敏感区域，构造每个像素点的三维结构张量矩阵，最后通过特征值和特征向量预测评价质量。这些方法都从一定的角度构建了全参考立体图像质量评价指标，取得了一定进展，但评价指标还可以进一步提高。2011年后，深度学习网络，特别是卷积神经网络快速发展。卷积神经网络(convolutional neuralnetwork,CNN)是最近几年才发展起来的一种前向传播和后向传播结合的人工神经网络，也是一种典型的深度学习方法，目前已成为当前语音分析和图像识别领域的研究热点。卷积神经网络的结构与人类视觉系统相近，人类视觉系统对于信息的处理是分级进行的，由低级特征组合为高级特征，特征表达逐渐抽象，而卷积神经网络通过堆叠网络的层数来逐层表达输入数据的不同级别特征，网络结构内部每次的输出都作为下一层的输入，从而更好的学习原始数据的内在联系。卷积神经网络能够从图像中选取需要的特征，在图像分类、语音识别等方面能得到更高的正确率。文献[6]提出了一种三通道五层卷积神经网络，将立体图像的左视图、右视图和差值图分块分别作为网络输入，通过卷积提取立体图像特征，最终全连接加权得出最终的舒适值。基于卷积神经网络的立体图像质量评价模型能够得到更高的分类识别率。立体图像舒适度评价算法的发展对立体图像的发展有着重要的意义。

发明内容

为克服现有技术的不足，本发明旨在提出采用基于卷积神经网络的立体图像舒适度评价方法得到图像的评价分数，更好的拟合人类对立体图像主观评价值，能很好的对立体图像舒适度进行预测。为此，本发明采用的技术方案是，基于卷积神经网络的立体图像舒适度评价方法，将立体图像的左视图、右视图和视差图的信息合成为一幅图像作为网络的输入，通过卷积神经网络模拟人类感知来对所得图像进行处理，经训练得到权重系数，最后利用人眼视觉显著特性将图像块舒适值加权作为整体图像的舒适度值。