[发明专利]一种适于3D电视虚拟视点生成的优化方法

说明书

技术领域

本发明涉及一种适于3D电视虚拟视点生成的优化方法。

背景技术

相较于普通的二维电视，三维电视(3DTV)由于其提供了场景的深度信息而能够给用户带来身临其境的感受，同时由于其多角度的立体视觉使用户与电视场景信息更具交互性，被认为是继高清平板电视之后又一个新的电视发展方向。3D电视多角度立体效果的实现需要多个视点的视频图像流，基于深度图的虚拟视点绘制(DIBR)技术作为3D电视产生虚拟视点图像实现多视角立体感受的一项关键技术，其能够利用二维彩色图像和对应的深度图像完成对任意虚拟视点彩色图像的绘制。但是利用DIBR技术生成的虚拟视点图像质量不高，主要存在的问题有重叠、重采样和空洞问题。

发明内容

本发明的目的是为了克服上述现有技术的不足，提供一种优化的虚拟视点生成方法，解决DIBR技术过程中出现的重叠、重采样和空洞问题，提高生成的虚拟视点图像质量，保证后期的立体视觉效果。

为实现上述目的，本发明采用下述技术方案

一种适于3D电视虚拟视点生成的优化方法，该方法的优化步骤如下：

步骤1：利用摄像系统首先获取参考视点图像及其深度图，同时获取辅助参考视点图像；

步骤2：利用闭运算对参考视点图像的深度图进行预处理；

步骤3：对参考视点图像和经过闭运算处理后的深度图，进行三维图像变换，得到虚拟视点图像；

步骤4：对生成的虚拟视点图像利用基于欧式距离和深度值的像素分配算法解决虚拟视点图像中的重叠和细纹空洞问题，处理过程如下：

(a)设虚拟视点图像中的目标整像素点为O(i，j)，首先判断投影在O(i，j)上的像素点的个数，如果为1，则不进行任何处理；如果大于1，则比较对应的深度值，取深度值最大也就是最靠前的像素进行赋值；如果为0，则检测以O(i，j)为中心的2×2像素格内的非整像素点的个数；

(b)如果在2×2这个范围内的非整像素点的个数为零，那么判定O(i，j)为空洞点，不进行赋值；如果在2×2这个范围内非整像素点的个数不为零，则比较这些非整像素点的深度值，求出深度值最大的像素点；

(c)判断深度值最大的像素点是否唯一，如果深度值最大的像素点唯一，将此点的像素值赋给目标整像素点，并转入步骤(d)继续执行；如果深度值最大的像素点不唯一，就分别计算剩余非整数像素点到目标整像素点的欧氏距离，这些欧氏距离中，与目标整像素点距离最小的非整数像素点即为最佳匹配点，将该非整数像素点的值赋给目标整像素点，并转入步骤(d)继续执行；如果欧氏距离仍存在相等的情况，那么就将剩余非整数像素点的平均值赋给目标整像素点，并转入步骤(d)继续执行；无论以上哪种情况，都是将深度值最大的非整像素点赋值，这保证了虚拟视点观看者看到的是前景物体，不会出现重叠问题；

(d)继续寻找下一个目标整像素点，重复步骤(a)-(c)，直至整个目标整像素点处理完毕；

步骤5：经过步骤4的处理，虚拟视点图像的细纹空洞已经处理完毕，但仍存在由于遮挡造成的空洞，通过对生成的虚拟视点图像进行逆三维图像变换来填补大面积空洞，得到了高质量的虚拟视点图像。

所述步骤3中三维图像变换的过程如下：

(A)将参考视点图像上所有的像素点的深度图信息，投影到它们对应的三维空间中；

(B)将三维空间上的点，根据目标虚拟视点与参考视点之间的角度，投影到目标图像上，以上为一个二维转换为三维再重新转换为二维的过程；其中，三维图像变换公式为：

Z2P2=Z1k2Rk1-1P1+k2t]]>