[发明专利]基于三维时空特征分解的无参考视频质量评价方法

说明书

本发明公开了一种基于三维时空特征分解的无参考视频质量评价方法，其步骤为：构建由时空失真特征学习模块、质量回归模块组成的质量预测网络，生成无参考的训练数据集和测试数据集，训练时空失真特征学习模块和质量回归模块，输出测试集中每个失真视频的质量评价分数值。本发明用于从输入的失真视频中准确且高效地提取时空域内容的质量感知特征，在网络的输出端得到对应的预测质量分数，具有评价无参考视频质量时结果更加准确、应用更广泛的优点。

技术领域

本发明属于图像处理技术领域，更进一步涉及视频处理技术领域中的一种基于三维时空特征分解的无参考视频质量评价方法。本发明可用于视频采集、压缩、和传输中对没有原始参考信息的失真视频进行三维失真特征提取，依据提取的特征进行视频质量的客观评估。

背景技术

在互联网信息时代，网络多媒体技术和通信技术迅猛发展，人们可以更方便地通过各种渠道获取多媒体信息。相关研究表明，作为最直观、高效的信息载体，图像和视频信息在人们接收到的信息中占据着70％以上的比重。终端设备的爆炸式增长和视频服务的广泛普及使得人们对视频质量的要求也越来越高。但是，视频从生产到最终播放的各个环节中不可避免地会收到成像系统、压缩方式、传输介质以及存储设备等因素的影响，产生不同类型的失真，破坏用户的观看体验，甚至影响人们对视频语义的理解。因此，视频质量评价成为视频领域的重要问题，对视频处理系统的改进和人们生活质量的提升具有重大的现实意义和研究价值。其中，无参考视频质量评价方法由于其灵活性高、实时性好、成本低且不需要任何原始视频信息的优点，成为视频质量评价领域的研究热点，也是目前发展空间最大、最具实际应用价值的评价方法。

江南大学在其申请的专利文献“基于时空域特征提取的无参考视频质量评价方法”(专利申请号：201910149737.2；申请公布号：CN109862350A)中公开了一种基于XceptionNet和XGBoost的无参考视频质量评价方法。该方法首先训练了一个基于XceptionNet的网络模型，采用分帧处理的方法，获取失真视频的帧差图，并将其输入到该网络模型，提取视频的时空域失真特征，拼接特征图得到特征拼接图，然后采用主成分分析的方法对拼接图进行降维处理，最后通过建立XGBoost预测模型将经过深度表达的特征映射为失真视频的质量分数。该方法的不足之处在于，只使用视频的帧差图作为输入，混淆了失真视频在时域空域的操作，使得模型提取到的时空特征不够充分，导致其无法准确模拟人类质量感知过程从而预测结果准确度不高。

央视国际网络无锡有限公司在其申请的专利文献“基于失真恢复度的无参考视频质量评价方法及装置”(专利申请号：201811533786.8；申请公布号：CN109587474A)中提出了一种基于图像失真恢复模型的无参考视频质量评价方法。该方法首先构建了一个图像失真恢复模型。将无失真图像通过不同等级的压缩得到的失真图像作为输入进行训练，然后将失真视频输入训练好的图像失真恢复模型获得恢复图像序列，并逐帧计算失真视频灰度图以及对应恢复图像之间的RD-PSNR或RD-SSIM，得到每帧图像的质量恢复度，最后根据每帧图像的质量恢复度对待评价视频的质量进行评价。该方法存在两个不足之处是，其一，该方法的图像失真恢复模型仅考虑了不同等级的压缩失真类型，而工程实践中的视频往往是多种失真类型的组合，导致该方法实用性有限；其二，视频是一组连续的图像序列，而该方法仅使用了视频的空域信息，而没有在时间维度对人类视觉系统进行建模，忽略了每帧之间的时域信息对质量评价的影响，使得评价结果不能更好地符合人类视觉系统。

发明内容

本发明的目的在于针对上述现有技术的不足，提出一种基于三维时空特征分解的无参考视频质量评价方法。该方法可解决现有技术在失真视频的时空特征提取不充分、失真语义信息表征不足以及忽略时域建模的问题。

实现本发明目的的思路是：构建时空失真特征学习模块，分别从失真视频的时间维度和空间维度自适应地提取失真特征；构建质量回归模块从提取的三维时空特征中预测失真视频的质量分数，实现对失真视频的质量评价。本发明的实现不需要任何参考信息，是只将失真视频作为输入进行评估的无参考视频质量评价。

实现本发明目的的具体步骤如下：