[发明专利]基于多模态学习的无参考合成视频质量评价方法

说明书

本发明涉及视频质量评价技术领域，具体涉及基于多模态学习的无参考合成视频质量评价方法，包括：获取待评价的虚拟视点视频；基于光流估计将待评价的虚拟视点视频分解成若干个时空域的图像；将各个时空域的图像输入至预训练的卷积神经网络学习模型，提取虚拟视点视频的深度特征；将各个时空域的图像输入至经过训练的稀疏字典学习模型，提取虚拟视点视频的稀疏特征；基于虚拟视点视频的深度特征和稀疏特征进行加权回归，进而计算对应的虚拟视点质量评价分数。本发明通过多模态学习的方式提取虚拟视点视频隐藏的深度语义信息和人眼主观感知的稀疏特征，并且无样本依赖性，从而能够提高合成视频无参考质量评价的通用性和鲁棒性。

技术领域

本发明涉及视频质量评价技术领域，具体涉及基于多模态学习的无参考合成视频质量评价方法。

背景技术

现目前，自由视点视频、3自由度(Degree-of-freedom,DoF)全景视频和窗口6DoF(Windowed-6DoF)视频等沉浸式视频系统因其良好的人机交互视觉体验在许多领域具有广阔的应用前景，如智能监控、VR游戏、医疗诊断等。由于沉浸式视频系统的摄像设备和网络传输带宽等受限，需要参考相邻视点的纹理和深度信息，并采用基于深度图的绘制(DepthImage Based Rendering,DIBR)技术来生成大量的虚拟视点视频，以填充遮蔽场景，保证视点间的平滑切换。

然而，绘制得到的虚拟视点视频存在着较为严重的时空失真，主要包括空域上的压缩失真、时域上的闪烁失真等。这些失真会导致虚拟视点视频质量的下降，甚至严重影响用户的视觉体验。因此，建立有效的虚拟视点视频质量评价指标来判断沉浸式视频是否令人感到视觉舒适、是否达到商用标准等是十分有必要的。

近年来，不少学者针对虚拟视点图像/视频提出了多种质量评价模型，根据原始信息的参考度可分为三种类型，即全参考(Full-Reference,FR)质量评价模型、半参考(Reduced-Reference,RR)质量评价模型和无参考(No-Reference,NR)质量评价模型。基于FR和RR的图像/视频质量评价模型虽然有一定的性能竞争性，但在现实生活中，失真视频所对应的参考视频基本很难获取，尤其对虚拟视点视频来说难度更大，因此FR和RR虚拟视点视频质量评价模型具有较差的实际应用价值。为此，就有部分学者提出了基于NR的虚拟视点图像/视频质量评价模型，但现有的NR质量评价方法严重依赖于手工特征提取，这需要在失真已知的情况下对每一种失真进行人为分析并提取特征，因此现有的NR质量评价方法一般只对特定的数据库有效，具有较低的通用性和鲁棒性。

综上所述，如何避免手工提取失真特征的困难，充分利用学习的方法，提出一种通用性和鲁棒性更强的NR虚拟视点图像/视频质量评价方法是亟需解决的问题。

发明内容

针对上述现有技术的不足，本发明所要解决的技术问题是：如何提供一种基于多模态学习的无参考合成视频质量评价方法，通过多模态学习的方式提取虚拟视点视频隐藏的深度语义信息和人眼主观感知的稀疏特征，并且无样本依赖性，从而能够提高合成视频无参考质量评价的通用性和鲁棒性。

为了解决上述技术问题，本发明采用了如下的技术方案：

基于多模态学习的无参考合成视频质量评价方法，包括：

S1：获取待评价的虚拟视点视频；

S2：基于光流估计将待评价的虚拟视点视频分解成若干个时空域的图像；

S3：将各个时空域的图像输入至预训练的卷积神经网络学习模型，提取虚拟视点视频的深度特征；

S4：将各个时空域的图像输入至经过训练的稀疏字典学习模型，提取虚拟视点视频的稀疏特征；

S5：基于虚拟视点视频的深度特征和稀疏特征进行加权回归，进而计算对应的虚拟视点质量评价分数作为待评价虚拟视点视频的质量评价结果。