[发明专利]基于视差图的多视点图像渲染方法

说明书

技术领域

本发明涉及一种基于图像的绘制技术，尤其是一种基于视差图的多视点图像渲染方法。

背景技术

在多视角自由立体显示系统(multi-view auto-stereoscopic system)中，要生成一副具有立体效果的三维图像，往往同时需要多个从不同地点观察的图像。基于视差图的绘制技术(Depth image based rendering)能够根据一路参考视图以及一路与参考视图相对应的视差图来绘制多路不同视点的虚拟视图，与其他同类方法相比，具有如下优点：

1.图像加视差的格式能够被更有效地进行编码，因而可以在传输的时候需要更少的带宽；

2.图像加视差的格式能够独立于具体的立体显示器，如八视角或九视角的立体显示器等，因此可以更方便、更灵活地与市场上多种不同的自由立体显示器兼容；

3.图像加视差的格式能够更加灵活地进行二维视频与三维视频之间的切换。

因此，基于视差图的图像绘制技术被认为是多视角自由立体显示系统中最有前途的技术之一。

理论上来讲，要绘制不同视点的虚拟视图，首先要根据视差图以及相机参数将参考视图上的所有像素点投影到空间中去，再将这些空间中的像素点反投影到虚拟相机的成像平面上。然而，这种投影和反投影在计算上是非常耗时的，并且需要相机的参数来完成整个绘制过程，而且在实际应用过程中，要得到相机的参数通常还需要一个非常繁琐的校准的过程。现有的基于视差图的图像绘制技术应用到多视角自由立体显示系统中时存在的主要问题：计算量非常大，绘制过程非常耗时，并且相机的校准过程非常繁琐。在某些需要实时应用或者系统资源非常有限的场合，这些问题尤显突出。因此，在某些需要实时应用或者系统资源非常有限的场合，如立体直播或者嵌入式系统等应用中，急需一种快速有效的方法来绘制新的不同视点的虚拟视图，以完成立体视图的生成。

发明内容

本发明的目的是克服现有技术中存在的不足，提供一种基于视差图的多视点图像渲染方法，可以极大地降低整个绘制过程的计算量，缩短绘制时间，并且不需要对相机进行校对，可以得到令人满意的绘制效果。

按照本发明提供的技术方案，所述基于视差图的多视点图像渲染方法包括如下步骤：

(1)根据视察图中左右相邻像素值的关系、零视差平面的值设置、虚拟摄像机的序列号、像素的位置和比例因子，对参考视图中的像素值到目标视图中的移位映射方式做出判断；

(2)对参考视图中的对应像素点进行重采样计算后填充到目标视图中：

根据步骤1中得到的移位映射方式判断的结果和需要移位映射的像素点对应的位置，进行运算取整后得到重采样的上下限位置值，利用上下限的位置值得到采样系数值，然后根据参考视图中的数据进行重采样，采样方式采用线性采样；在采样过程中利用四舍五入的方法对采样结果进行取整处理；

(3)去除明显的错误：对于经过上述处理后的目标视图，从左至右检测其每一行每个像素，若某像素A对应参考视图中的像素坐标大于A下一个像素B对应参考视图中的像素坐标，则为发现明显的错误；继续检测该行的剩余像素，将所有对应参考视图中的像素坐标介于A、B的对应参考视图中的像素坐标之间的像素标记为明显错误区域；最后将所述的每一行中明显错误区域中的像素点直接以离像素点该最近的左侧像素点来填充。

所述的移位映射方式判断是指，根据camIndex*α*(d_Re fView(x，y)-d₀)的值的正负性和camIndex的数值，通过公式x+camIndex*α*(d_Re fView(x，y)-d₀)，得到参考视图中左右相邻两个像素点对这个公式的结果值，两者中所得值小的像素点就作为移位映射的下限位置，所得值大的像素点就作为移位映射的上限位置，而两者的大小也同时得到了移位映射的方向，即所得值小的点到所得值大的点；