[发明专利]基于双目融合网络与两步训练框架立体视频质量评价方法

权利要求书

1.一种基于双目融合网络与两步训练框架立体视频质量评价方法，其特征是，首先通过计算立体视频的时间显著性与空间显著性，对立体视频的每一帧生成显著性图片，得到的顺序排列的显著性图片称为左视频的时空显著性特征流与右视频的时空显著性特征流，并将其作为双目融合网络的两个输入；其次，分两步训练双目融合网络，即局部回归和全局回归，在第一步中，通过添加全连接层，用小块标签预训练所提网络的左通道CNN以及右通道CNN；在第二步中，基于第一步的权重模型，使用MOS值对整个网络进行训练；此外，考虑到双目竞争，在融合通道中引入了加权模块为不同通道的特征图分配不同的权重，立体视频质量分数由全连接层将高维特征映射到输出域得到。

2.如权利要求1所述的基于双目融合网络与两步训练框架立体视频质量评价方法，其特征是，视频显著性具体是：通过计算包括空间显著性和时间显著性的视频显著性为视频中的每个帧生成显著图，立体视频的每一帧都将产生相应的显著图，获得的按顺序排列的显著图称为左视频或右视频的时空显著性特征流，并将它们作为网络的两个输入。

3.如权利要求1所述的基于双目融合网络与两步训练框架立体视频质量评价方法，其特征是，局部回归具体是：考虑到不同视图，不同帧和不同区域可能具有不同程度的失真，通过特征相似性(FSIM)算法为时空显著流中的每个失真块生成相应的质量分数，通过比较参考块和相应的失真块之间的相似性来获得失真块的质量分数，然后，将左视频的时空显著流中的失真块作为输入，用小块标签预训练所提出网络的左通道CNN；同样，右视频中的时空显著流中的失真块用于预训练所提出的网络的右通道CNN，两个通道的预训练过程是分开进行的，不相互干扰。

4.如权利要求1所述的基于双目融合网络与两步训练框架立体视频质量评价方法，其特征是，全局回归具体是：将左右视频的时空显著性特征流作为输入，基于第一步的权重模型，使用MOS值来训练整个双目融合网络，双目融合网络由三部分组成：左通道，右通道和融合通道，左通道提取纯粹的左视点特征，右通道提取纯粹的右视点特征，左通道包含四个卷积层和两个池化层，右通道也是如此，融合通道提取双目特征，包含四个卷积层，四个“加权模块”，三个池化层和三个全连接层，在左右通道的每次卷积操作之后均有一次融合操作，故融合通道共有四次融合。即本发明的双目融合网络既在浅层融合，也在高层融合，对于每次融合，所有特征图均送入加权模块，用以给不同通道的特征图赋予不同的权重，最后，立体视频质量分数由全连接层将高维特征映射到输出域得到。

5.如权利要求1所述的基于双目融合网络与两步训练框架立体视频质量评价方法，其特征是，其中，顺序地串联来自不同通道的所有特征图，并获得大小为高度H×宽度W×通道数C的输入X，全局池化层将每个特征图映射为一个数字，权重由后续的层进行学习，第一个全连接层把C个权重数字压缩为C/r个权重数字来降低计算量，其中r是缩放参数，经过ReLU激活函数后，第二个全连接层恢复回C个权重数字，最后经过sigmoid函数得到学习权重，在Scale层中，学习到的权重乘以对应的特征图，得到与X大小相同的输出将SE块嵌入双目融合网络中，来实现为不同视图的特征图分配权重的功能，尽可能模仿双目竞争；

因此，卷积层定义为(1)：

F_l＝RELU(W_l*F_{lth_input}+B_l) (1)

其中W_l和B_l分别表示第l个卷积层的卷积核和偏置，F_l是第l个卷积层的输出特征图，F_{lth_input}是第l个卷积层的输入特征图，RELU是激活函数，*表示卷积运算，当使用反向传播来训练所提出的网络时，通过最小化欧几里德损失函数来学习卷积层、池化层与全连接层的参数。