[发明专利]一种基于合成图像质量度量的远程绘制方法

说明书

本发明公开了一种基于合成图像质量度量的远程绘制方法，包括以下步骤：步骤1：基于空洞建立合成图像质量度量模型；步骤2：预测合成图像的视觉感知质量；步骤3：确定参考视点深度图像传输策略，在合成图像质量度量的基础上建立三维场景参考视点集，并根据用户交互确定参考视点深度图像的更新策略。本发明通过分析合成图像中空洞的统计特征及人类视觉系统的恰可识别失真特性构建合成图像质量度量模型，基于此对三维场景参考视点进行优选，并在用户交互时根据虚拟视点位置确定深度图像的更新时机。

【技术领域】

本发明涉及计算机图形学、图像与信号处理的技术领域，特别是基于合成图像质量度量的远程绘制方法的技术领域。

【背景技术】

基于图像的远程绘制技术因其降低了客户端的绘制开销，以及三维模型几何数据的传输开销，被广泛应用于移动终端的交互式三维图形应用中。其中，基于深度图的远程绘制技术使用参考视点下三维场景的深度信息来表征场景的隐式几何信息，进一步降低了所需传输的参考视点图像的数据量。然而，代价是降低了虚拟视点合成图像的质量。

目前虚拟视点合成图像主要使用双向3D image warping技术得到。其原理是：给定虚拟视点，寻找到与其相近的两个参考视点，获取这两个参考视点下的颜色信息和深度信息，然后利用McMillan的3D image warping方程将两个参考视点变换到虚拟视点下，并将变换得到的图像融合，得到最终的合成图像。由于场景中存在遮挡关系，以及3D imagewarping方程本身引入的计算误差，合成图像中存在较严重的失真，主要是由于遮挡关系带来的空洞。已有方法虽然可以对合成图像的空洞进行填充，然而视觉效果依然不好。另一类方法则试图通过增加参考视点深度图的传输频率，以保证参考视点与虚拟视点之间的位置足够接近，从而减少遮挡。这类方法虽然提升了合成图像质量，却增加了网络传输量。

作为合成图像视觉质量与传输数据集之间的权衡，本发明提出一种基于合成图像质量度量的远程绘制方法。目前对于虚拟视点合成图像的质量度量方法较少，且大部分仍采用全参考的质量度量方法，即在预测合成图像质量时需要提供未失真的原始图像。在实际远程绘制系统中，未失真的原始图像往往是不可获取的；对于深度图传输策略，已有方法主要集中在提升客户端合成图像质量方面，往往通过增加深度图传输频率、传输多参考视点(参考视点数目大于2)来实现提升质量的目的，很少考虑网络负载。

【发明内容】

本发明的目的就是解决现有技术中移动终端合成图像视觉质量的同时尽可能减少深度图传输频率的问题，提出一种基于合成图像质量度量的远程绘制方法，通过分析合成图像中空洞的统计特征及人类视觉系统的恰可识别失真特性构建合成图像质量度量模型，基于此对三维场景参考视点进行优选，并在用户交互时根据虚拟视点位置确定深度图的更新时机。实验表明，本发明提出的方法能够保持客户端合成图像的视觉质量，同时减少了深度图传输频率。

为实现上述目的，本发明提出了一种基于合成图像质量度量的远程绘制方法，包括以下步骤：

步骤1：基于空洞建立合成图像质量度量模型：分析合成图像中空洞数量、空洞区域分布以及人类视觉系统的恰可识别失真特性构建一个合成图像的无参考质量度量模型；

步骤2：通过步骤1构建的所述无参考质量度量模型，预测合成图像质量；

步骤3：确定参考视点深度图传输策略：在合成图像的所述视觉感知质量的基础上建立三维场景参考视点集，并根据用户交互确定参考视点深度图的传输策略。

作为优选，所述步骤1中的基于空洞建立合成图像质量度量模型的具体步骤如下：

步骤11：合成图像空洞统计特征表示：使用合成图像空洞数量、合成图像中空洞区域的分布，并结合人眼视觉系统中恰可识别失真特性表征合成图像失真程度；