[发明专利]基于深度卷积神经网络的立体图像质量评价方法

摘要

本发明涉及一种基于深度卷积神经网络的无参考立体图像质量评价方法，包括以下步骤：数据预处理：灰度化左右视图，随机裁剪成大小为32×32的patch块；训练深度卷积神经网络；质量分数融合：在得到左右视图的特征向量FL和FR后，将两者作差得到FL‑FR，将三者拼接得到融合后的特征向量(FL，FR，FL‑FR)，将其输入全连接层网络，得到两部分输出，一部分是每个patch的质量，另一部分是每个patch的权重；将两部分作点积得到一幅立体图像的最终质量预测分数。

主权项

1.一种基于深度卷积神经网络的无参考立体图像质量评价方法，包括以下步骤：第一步.数据预处理(1)图像分块：灰度化左右视图，随机裁剪成大小为32×32的patch块；(2)扩充数据集：通过对LIVE3D数据库中的图片进行随机旋转、镜像等处理以增加数据集；第二步.训练深度卷积神经网络(1)卷积层：卷积层采用级联的3×3卷积核，采用级联卷积核的方式加深网络的层数；(2)池化层：基于局部相关性原理对从卷积层传输的特征映射进行二次采样，采用最大池化层；(3)全连接层和Softmax层：全连接层的每一个结点都与上一层的所有结点相连，用来把所提取到的特征综合起来，网络中使用Softmax层用作归一化处理；(4)CNN架构：基于VGGNet‑16提取图片高维卷积特征，在VGGNet‑16网络前面添加两个卷积层Conv3‑32和一个池化层，之后接级联卷积层和池化层，考虑到网络输出层的维度，连接三个级联卷积层，此网络中一共有12个卷积层和5个池化层，将图像的预测分数与真实的DMOS做均方差计算，以此作为损失函数进行迭代训练；第三步.质量分数融合在得到左右视图的特征向量FL和FR后，将两者作差得到FL‑FR，将三者拼接得到融合后的特征向量：FL，FR，FL‑FR，将其输入全连接层网络，得到两部分输出，一部分是每个patch的质量，另一部分是每个patch的权重；将两部分作点积得到一幅立体图像的最终质量预测分数。