[发明专利]一种立体电视系统中虚拟视点图像绘制的方法

说明书

技术领域

本发明涉及数字图像处理技术，特别地，涉及一种立体电视系统中虚拟视点图像绘制的方法

背景技术

随着数字视频技术的快速发展和广泛应用，人们对视频质量和形式的要求越来越高，传统的二维平面视频已满足不了人们对场景的真实和自然再现的需求，因此能够提供立体感和交互操作功能的立体/多视点视频技术越来越受到业界的重视。立体/多视点视频与单目视频相比，增加了景物深度信息表征，在立体电视、虚拟视点电视、具有临场感的可视会议、虚拟现实等领域具有广泛应用前景(见侯春萍，杨蕾，宋晓炜，戴居丰.立体电视技术综述.信号处理.2007.23-5)。

立体电视系统用户端的设计应该满足复杂度低、功能实现简单、制造成本低的要求。因为用户端的计算能力、存储能力有限，在用户端应该选择低计算量、低存储容量的虚拟视点图像绘制算法。欧洲的先进立体电视系统技术(ATTEST)计划提出了基于深度相机的立体场景生成方法，并以此为基础给出设计了立体电视系统。编码端将压缩后的深度图像传送给用户端，用户端用接收到的图像信息进行虚拟视点图像绘制。

虚拟视点图像绘制是立体电视系统中的关键技术之一，已成为近年来的研究热点。物体之间遮挡和象素坐标的量化误差严重影响虚拟视点图像绘制的质量。

发明内容

本发明的目的是提供一种立体电视系统中虚拟视点图像绘制的方法。本发明通过自适应插值和重叠式填充提高用户端自由视点图像绘制的质量。它包括如下步骤：

1)根据左视点深度图像，把左视点纹理图像旋转到虚拟视点，得到左视点纹理图像的旋转图像；

2)根据右视点深度图像，把右视点纹理图像旋转到虚拟视点，得到右视点纹理图像的旋转图像；

3)对左视点纹理图像的旋转图像进行自适应插值，得到左视点纹理图像的插值图像；

4)对右视点纹理图像的旋转图像进行自适应插值，得到右视点纹理图像的插值图像；

5)根据左视点纹理图像的插值图像，对右视点纹理图像的插值图像进行重叠式填充，得到虚拟视点图像。

所述的根据左视点深度图像，把左视点纹理图像旋转到虚拟视点，得到左视点纹理图像的旋转图像步骤：

a)把左视点纹理图像的旋转图像中每个象素点的亮度分量、蓝色色度分量和红色色度分量都设置为0；

b)根据下列式子，计算从左视点到虚拟视点的旋转矩阵：

L_to_V_PP＝V_A×V_E×(L_E^-1)×L_A^-1)；

其中，LA和L_E分别是左视点相机的内参和外参，V_A和V_E分别是用户指定的虚拟视点相机的内参和外参，L_to_V_PP是从左视点到虚拟视点的旋转矩阵。

c)根据下列式子，计算左视点深度图像中每个象素的深度值：

L_Zc(x，y)＝(255×MaxZ×MinZ)/(D_L(x，y，1)×(MaxZ-MinZ)+255×MinZ)；

其中，D_L(x，y，1)是左视点深度图像中图像坐标(x，y)处象素点的亮度值，MinZ和MaxZ分别是该深度图像所能表示的最大深度和最小深度，L_Zc(x，y)是左视点深度图像中图像坐标(x，y)处象素点的深度值。

如果深度图像中象素点的亮度为0，表示该象素点距离世界坐标系中原点的距离为MaxZ；如果深度图像中象素点的亮度为255，表示该象素点距离世界坐标系中原点的距离为MinZ。

d)根据下列式子，计算左视点纹理图像中每个象素点旋转到虚拟视点后的图像坐标，得到从左视点到虚拟视点的横坐标映射函数和纵坐标映射函数：