[发明专利]一种基于时空管道建模的全景视频客观质量评估方法

说明书

本发明公开了一种基于时空管道建模的全景视频客观质量评估方法，首先，根据人眼视觉机制，加入了时域失真的概念，建立了一种基于时空管道的视频质量评估模型；其次，时空管道的建立由用于运动估计的块搜索算法实现，实现了将在空间上切分的视频内容在时间上前后关联，而时空管道的失真分解为平均失真和时域失真，前者通过一个递归滤波器对时空管道中块与块的空间失真进行合理的平均，后者通过结合块与块之间失真变化梯度的频率和幅度对时空管道失真计算进行了巩固；最后，将所有时空管道失真通过空域池化和时域池化计算得出最终的视频质量评分。采用本发明方法，可大大提高全景视频客观质量评估的精确度，使之更符合人眼的主观质量评价的结果。

技术领域

本发明属于视频编码和处理领域，具体涉及一种基于时空管道建模的全景视频客观质量评估方法。

背景技术

随着虚拟与增强现实技术的不断发展，全景视频媒体系统技术标准的制定与完善逐渐显得越来越重要。全景视频(即360度视频)是通过专业相机捕捉整个场景的图像信息，使用软件进行拼接，并用专门的播放器进行播放。在观看360度视频时，观看者通常需要佩戴虚拟头盔，通过头部的运动观看不同位置的视频图像，从而达到观看的沉浸感和身临其境感。然而，由于全景视频包含很多的视角观看信息，通常都具有较大的图像分辨率(如4K,8K等)，如何对其高效压缩与质量评估目前成为研究热点。用于2D平面视频媒体的成熟技术方案直接移植于360度全景视频系统中还存在各种各样的问题，其中对于全景视频的客观质量评估方法是亟待解决的问题之一。

视频质量评估从方法上可分为主观评估和客观评估。主观评估就是人从主观感知来评价视频图像质量，通过给观察者展示原始参考图像和失真图像，让观察者为其失真图像评分；而客观评估使用数学模型计算给出量化值，无需人工参与，简便易行。由于主观实验受观察者位置、设备、照明、视力水平甚至情绪等因素影响，费时费力，所以有必要设计出能够精确预测主观质量的客观质量评估方法。由于360度全景视频的球面特性，直接将传统2D平面视频的客观质量评估方法用于分析全景视频，其结果与用户主观体验差异较大，不能够准确反应主观质量。另外，现有的全景视频客观质量评估方案中，WS-PSNR(Weighted-Spherically PNSR)是一种最近提出的并得到广泛应用的客观质量计算方法，该方法通过计算球面到平面映射的拉伸因子，并利用该因子加权对应平面视频计算的PSNR。但该方法也只考虑了全景视频的空间特性，没有考虑失真的时域变换，精确度也尚有提升的空间。

发明内容

发明目的：本发明提出一种考虑时域特性的基于时空管道建模的全景视频客观质量评估方法，可提高360度全景视频客观质量评估的精确度，使之更符合人眼的主观质量评价结果。

发明内容：本发明所述的一种基于时空管道建模的全景视频客观质量评估方法，包括以下步骤：

(1)将全景视频序列每帧分块，对于每帧每块的质量评估通过向前回溯构建的时空管道来计算取得；所述时空管道的构建由运动估计的块搜索算法按块与块之间内容相似度来匹配连接，作为视频质量评估的基本单元；

(2)在时空管道评估单元构建完成后，计算每帧每块的时空管道的失真值；所述失真值由平均失真和时域失真两部分构成，平均失真是由时空管道上所有块的空间失真平均计算得到，而时域失真则由块与块之间失真变化的梯度值的频率和幅度结合平均失真得到；

(3)将每一帧的所有时空管道单元失真值进行空间池化，得到每一帧的失真值评估，将整个视频所有帧的失真求平均得到关于该视频的失真评估，再通过对该视频失真计算峰值信噪比得出最终全景视频客观质量评分。

所述步骤(1)包括以下步骤：

(11)对于原始视频序列的第t帧，我们将该帧按行列分成K·L个块；