[发明专利]一种双目系统中基于GPU的实时绘制方法

说明书

技术领域

本发明涉及一种双目三维视频系统中基于深度图像的绘制技术，特别是一种双目系统中基于GPU（图形处理器）达到实时的绘制方法。

背景技术

3DTV（三维电视）是立体显示技术的主要应用之一，其典型的系统组成如下：视频采集，编码传输，接收端解码，3D（三维）场景重建和3D显示。传统的电视系统只需要传输一路视频，而3DTV系统则需要传输两路或者多路的视频，但是考虑到相机的成本和带宽的限制，只能传输有限的视频，因此在终端进行虚拟视点绘制显得尤为重要，同时3D场景重建的好坏也直接关系到整个3DTV系统的好坏。虚拟视点绘制可以通过两类技术完成：MBR（基于模型的绘制）和IBR（基于图像的绘）。MBR需要场景复杂度的实验模型，主要用以3D游戏和纯虚拟场景的创建，并不适合动态场景的绘制；IBR则利用二维图像作为数据源来生成虚拟视点图像，并不需要复杂的3D场景信息。在众多IBR技术中DIBR（基于深度的图像绘制）技术由于其绘制的图像的真实性和其操作的简单性，使之成为最为行之有效的虚拟视点绘制的方法，因此DIBR更适合于3DTV系统终端的绘制。

DIBR利用参考视点图像和其对应的深度图像把各个像素投影到3D空间，从而为每一个像素建立一个简单的3D场景模型；然后把这个简单的3D场景模型投影到虚拟摄像机图像平面，进而完成了虚拟视点的绘制，整个过程即三维图像变换。理论上DIBR能利用一路纹理图像和其对应的深度图像绘制出任意虚拟视点，但是DIBR存在空洞问题。空洞问题主要是由于参考视点图像不可能包含3D场景所有的信息，应用DIBR绘制虚拟视点时，由于虚拟视点相对于参考视点存在水平位移，可能使得一些物体在虚拟视点中是前景而在参考视点中却是背景，而参考视点的纹理图像并不提供任何关于背景物体的信息，因此在虚拟视点中产生了空洞。“一路纹理+一路深度”和“两路纹理+两路深度”是目前主要的虚拟视点绘制方法。“一路纹理+一路深度”方法是通过对纹理图像和其对应深度图像执行一次三维图像变换直接得到虚拟视点图像；而“两路纹理+两路深度”则是通过执行两次三维图像变换，然后再进行视点融合，最后得到虚拟视点图像。因此“一路纹理+一路深度”方法得到虚拟视点的空洞明显多于“两路纹理+两路深度”所得到的绘制结果。目前，深度图像预处理、三维图像变换和图像修复是绘制虚拟视点图像的三个主要步骤。深度图像预处理主要采用高斯平滑滤波、中值滤波和一些平滑边缘的滤波器，这些深度图像预处理的方法能够一定程度上减少虚拟视点图像中空洞的产生，但同样也对虚拟点图像产生了几何畸变。图像修复算法能有效的填充虚拟视点的空洞，但是其算法复杂度极高，很难应用到实时的3DTV系统中。另外，通过LDI（分层深度图像）也能够有效的填充空洞，它允许在相应的层存储空洞的像素，这样空洞就可以利用这些像素来填充，但是LDI不仅增加计算的复杂度而且耗费带宽严重。

发明内容

本发明旨在提供一种双目系统中基于GPU的实时绘制方法，利用空洞图像空洞分布的特点、GPU并行计算的能力和DIBR技术高度并行性的特点，在保证合成新视点图像在主、客观质量上达到较好效果的同时，大幅度提高绘制的速度。

为达到上述目的，本发明的构思是：

首先在双目系统的发送端绘制出空洞掩膜图像并提取大空洞的纹理信息，然后在系统的接收端利用提取的纹理信息填充大空洞，同时利用插值算法填充小空洞；采用GPU加速虚拟视点图像的绘制，首先利用CUDA（通用并行计算架构）技术将每个像素投影到三维空间，然后应用Open GL（开源的图形程序接口）技术将三维空间中的像素投影点反投影到二维平面完成虚拟视点图像的绘制。

根据上述构思，本发明的技术方案是：

一种双目系统中基于GPU的实时绘制方法, 其步骤是：

(1)     发送端绘制出空洞掩膜图像并提取纹理信息：绘制出空洞掩膜图像，利用空洞掩膜图像找到大空洞横向的最大值，根据此最大值提取相应的空洞填充图像，即HFI（空洞填充图像）；

(2)     接收端空洞填充：利用发送端提取的纹理信息填充大空洞，并利用插值算法填充小空洞；

(3)     GPU加速绘制：利用CUDA技术将纹理图像中的像素逐一投影到三维空间，然后应用Open GL技术将三维空间中的像素投影点反投影到二维平面完成虚拟视点图像的绘制。