[发明专利]一种基于视觉掩蔽效应的虚拟视点质量评价方法

说明书

技术领域

本发明涉及一种对虚拟视点及绘制系统性能的评价技术，尤其是涉及一种基于视觉掩蔽效应的虚拟视点质量评价方法。

背景技术

近年来，立体视频技术快速发展。自由视点视频系统(FVV，Free Viewpoint Video)更是在3D视频基础上的进一步发展，可以使用户获得更好的视觉体验效果。基于深度的虚拟视点绘制(DIBR，Depth Image Based Rendering)技术是FVV系统的核心，其能够克服相机获取真实视点能力的限制，产生足够多的虚拟视点。然而，由绘制产生的虚拟视点存在多种类型失真，虚拟视点失真将严重影响3D视觉体验效果，因此需要提出一种评价尺度以衡量虚拟视点质量。虚拟视点质量评价不同于传统的2D评价尺度，虚拟视点质量评价不仅是对虚拟视点质量的衡量，而且也是对DIBR算法性能的评估。此外，由于虚拟视点绘制失真不同于传统失真类型，因此传统的2D评价算法不能有效的衡量虚拟视点质量。

虚拟视点数据来源于解码端。因此，影响虚拟视点质量的因素主要有两个：一是接收的深度视频和彩色视频的质量；二是虚拟视点绘制算法。在相同的彩色视频和深度视频配置下，虚拟视点质量同时也反映了虚拟视点绘制系统的性能。在使用同一虚拟视点绘制算法条件下，虚拟视点质量也反映出解码端彩色视频和深度视频的质量，彩色视频影响为虚拟视点像素幅值的改变，而深度视频影响为虚拟视点像素位置的偏移。此外，虚拟视点质量评价可分为虚拟视点视频质量评价和虚拟视点图像质量评价。

在基于多视点加深度(MVD，Multi-view Video plus Depth)的FVV系统中，虚拟视点由解码端彩色视频和与之相对应的深度视频绘制产生。DIBR技术的核心思想是利用深度信息和摄像机参数将参考图像中的像素投影到目标虚拟视点上，主要由以下几步完成：首先，利用深度信息，将参考图像中的所有的像素点重投影到与之对应的3D空间中；然后，将这些3D空间点投影到目标图像平面；最后，对绘制的虚拟视点进行后处理，消除虚拟视点中的失真，主要包括空洞填补和伪影消除过程。

虚拟视点绘制时，通常需要将深度转化为视差，通过视差可求得参考视点中像素点在虚拟视点中的位置，深度值决定参考视点中像素的偏移距离，若相邻深度值变化剧烈，则会在两像素之间产生空洞，深度值变化越尖锐，则产生的空洞越大。由于前景与背景交界处深度值变化较大，因此空洞的产生一般位于前景与背景交界处。前景与背景深度边界不准使用不同的插值算法进行空洞填补时，则会产生不同的失真。虚拟视点绘制过程中，边界像素的不可见也会在虚拟视点绘制过程中产生空洞，使用不同的算法进行边界填补时，产生的失真也不相同。

深度图获取算法的限制和深度图编码会导致深度估计不准和深度压缩失真，深度压缩失真则会造成虚拟视点像素位置偏移和对象扭曲。基于结构相似度的检测算法则可以很好的检测出失真偏移区域。对于不同绘制算法绘制出的虚拟视点组成的数据库，存在以下几个影响因子：绘制算法、视觉敏感区域和失真分布情况。

由于待评价虚拟视点为不同算法绘制得到，使用不同算法处理图像边界空洞和遮挡空洞时，会在虚拟视点中引入不同类型失真和不同程度的对象偏移和扭曲。因此，不同虚拟视点绘制算法将影响虚拟视点质量和虚拟视点失真类型。

由于虚拟视点失真大多为虚拟视点中像素位置偏移和对象扭曲，因此基于结构相似度的评价算法可以很好地检测出此种类型的失真。然而，对于评价算法检测出的失真区域，并非所有的失真区域都可以很好的被人眼所察觉，不同区域不同幅度的失真，对人眼的影响效果也不尽相同，纹理复杂度较高或纹理特征相似的区域往往可以容忍更多的绘制失真，而纹理特性变化较大区域的失真往往容易被人眼所察觉。

失真的幅度和失真分布的集中及分散程度也将对人眼有不同的影响效果。若虚拟视点中存在多处失真，则失真程度较大的区域对人眼的影响较为显著，而失真程度较小的区域对人眼影响较小；失真较为集中的区域对人眼的影响较大，而失真较为分散的区域对人眼的影响较小。若虚拟视点中存在多处失真，幅度较大、分布集中的失真则会将幅度较小、分布离散的失真掩蔽掉，影响人眼的视觉效果。