[发明专利]一种结合JND和VMAF的视频质量评估方法

说明书

本发明公开了一种结合JND和VMAF的视频质量评估方法，属于视频编码、视频质量评价技术领域。本方法根据人眼成像原理建立图像的JND模型，计算原视频每帧每像素的JND值，将失真图像与原图像在每个像素上的差值与该像素JND值进行对比，如果差值小于JND值的话，就把失真图像的像素替换成原始图像的像素。本方法通过替换像素把失真图像差值低于JND值的像素都替换成原始图像后，得到新的失真图像，在新的失真图像上计算VMAF可以把低于JND值的像素忽略掉，即把人眼不敏感的区域忽略掉，从而使视频质量评价结果更加接近主观。

技术领域

本发明涉及视频编码、视频质量评价技术领域，尤其涉及一种结合JND和VMAF的视频质量评估方法。

背景技术

图像质量评价是图像处理中的一个重要环节，图像质量评价方法分为主观评价和客观评价。人眼作为图像的最终接收器，是对于图像质量的最真实的反馈者，所以采用人眼直接观察作为主观评估图像质量的方法是最为直接且可靠的评价方法。但是，主观评价的方法影响因素众多，需要耗费大量的人力成本和时间成本，且可复制性差，无法应用于实时在线的评价系统。

客观图像质量评价算法能较好地嵌入系统，能实现实时评价且成本低，适用于实际应用当中。但是由于现有的客观图像质量评价算法没有考虑到人眼的视觉特性，在一些复杂场景下，往往会出现评估结果与主观质量评估相差较大的情况，因此，开发出模拟人眼主观评价的图像客观质量评价方法是意义重大的。

目前，HVS研究的一个重要成果是建立了恰可察觉失真（JND）模型，即像素中任何低于JND的误差不会被人眼所感知，通过JND模型隐藏多视点视频中大量不可感知的误差，将有效的改善目前的客观图像质量评价算法的评估结果，基于JND的图像质量评价方案能够有效的去除时域、空域和感知冗余，使图像质量评价结果更加接近主观。

发明内容

本发明提供了结合JND和VMAF进行视频质量评估的方法。本发明的核心思想在于将主客观视频质量评价方法相结合：首先根据人眼成像原理建立图像的JND模型，计算原视频每帧每像素的JND值，将失真图像与原图像在每个像素上的差值与该像素JND值进行对比，如果差值小于JND值的话，就把失真图像的像素替换成原始图像的像素。对失真图像的每一个像素都进行这样的操作之后，得到新的失真图像；进而使用标准VMAF算法对新的失真图像和原始图像进行评分，得到该帧的质量评估结果；最后对所有图像帧的质量评估结果取平均值得到该视频的质量评估结果。

一种结合JND和VMAF的视频质量评估方法，其特征在于，包括以下步骤。

步骤1 根据人眼成像原理建立图像的JND模型。

步骤1.1 筛选一批高清视频，对其进行压缩，得到失真的视频。

步骤1.2 计算高清视频每帧每像素的JND，用JND(x,y,t)表示。

步骤1.3 计算失真图像像素和对应的高清图像像素的差值Diff。

步骤1.4 Diff与JND(x,y,t)进行比较，如果差值Diff小于JND(x,y,t)，就把失真图像的像素替换成原始图像的像素，对于失真图像的每一个像素都进行这样的操作之后，得到新的失真图像。

步骤2 使用标准VMAF算法对新的失真图像和原始图像进行评分，得到该帧的质量评估结果。

步骤3 对所有图像帧的质量评估结果取平均值得到整个视频的质量评估结果。

本发明的有益之处在于：在新的原始图像和失真图像上计算VMAF之后可以把低于JND阈值的像素的图像忽略掉，即把人眼不敏感的部分忽略掉，从而使评价结果更加接近主观；且兼顾了客观图像质量评价算法较好地嵌入性、低成本和泛化能力。

附图说明

图1为本发明一种结合JND和VMAF进行视频质量评估的方法的流程图。