[发明专利]一种基于深度图分层的虚拟多视点图像的生成方法

说明书

技术领域

本发明涉及多视点自由立体显示系统中虚拟多视点图像的生成方法，尤其涉及一种基于深度图分层的虚拟多视点图像的生成方法。

背景技术

多视点自由立体显示技术是一种将同一场景的多个不同视点的图像同时呈献给观众，观众不需要佩戴眼镜即可在多个位置看到立体图像的技术。该技术需要多幅同一场景不同视点的二维图像。

为了获取多幅同一场景不同视点的二维图像，现在主要有两种解决办法。

一种办法是在拍摄时采用多个摄相机组成的相机阵列同时进行拍摄，然后将多幅二维图像数据同时传输到显示端进行立体合成显示。这种方法摄像机阵列成本高昂，而且多幅二维图像数据的传输需要占用大量的带宽资源，无法在现有网络上传输。另一种方法是在拍摄时采用双摄像机拍摄，经过立体匹配求取深度图的处理后，传输一路二维图像加上一路深度图像，然后在显示端重构出多幅虚拟视点的二维图像，最后进行立体合成显示。这种方法拍摄成本较低，视频传输增加的带宽很少，可以直接应用现有网络进行传输，而且可以根据自由立体显示器的需要生成不同数目的虚拟视点二维图像，灵活性更强。因此，对基于二维图像和深度图像生成多幅虚拟视点图像这一技术的研究具有更加现实的意义，这一技术的研究不仅可以为立体显示提供丰富的素材，而且能大大节省内容制作的成本。

基于二维图像和深度图像生成多幅虚拟视点图像技术现在采用的主流算法是DIBR算法(Depth-Image-Based Rendering)，其主要原理是根据输入的深度图像和相机参数将输入的二维图像中的每一个像素点映射到三维空间中的一点，然后再根据虚拟相机阵列模型的参数将这些空间中的点映射到虚拟相机成像平面上，得到虚拟视点的二维图像。这种方法需要做复杂的映射操作，运算量大，耗时久，对深度数据的准确性要求很高，而且相机阵列模型的参数不易获得。

发明内容

本发明的目的是克服现有技术的缺陷和不足，提出了一种基于深度图分层的虚拟多视点图像的生成方法。

基于深度图分层的虚拟多视点图像的生成方法包括以下步骤：

(1)对待处理的参考视点深度图像进行中值滤波操作，并在水平方向上对深度值小的物体进行轮廓扩展操作，得到滤波扩展后的深度图像；

(2)根据设定的分层层数，对滤波扩展后的深度图像进行分层操作，得到分层深度图像；

(3)在分层深度图像中选定一个深度层作为相机阵列的聚焦层，则深度值比聚焦层深度值大的为背景层，深度值比聚焦层深度值小的为前景层；

(4)对待处理的参考视点二维图像，根据二维图像相对应的分层深度图像，对二维图像进行分层操作，得到分层二维图像；

(5)根据设定的参考视点前景层和其相邻视点前景层之间的最大视差值，计算虚拟相机阵列相邻视点前景层与背景层之间的最大视差值，并结合各个深度层到聚焦层的距离计算各个深度层对应二维图像层对应的视差值；

(6)根据虚拟视点位置到参考视点位置的相对距离和相机阵列相邻视点前景层与背景层之间的最大视差值，对分层二维图像进行扩展操作，得到扩展后的分层二维图像；

(7)根据虚拟视点位置到参考视点位置的相对距离和各个二维图像层对应的视差值，通过加权水平平移算法得到各个虚拟视点位置的虚拟二维图像。

所述的对待处理的参考视点深度图像进行中值滤波操作，并在水平方向上对深度值较小的物体进行扩展操作，得到滤波扩展后的深度图像步骤为：

(a)对于参考视点深度图像I_Depth(x，y)进行5×5窗口大小的中值滤波，得到平滑的深度图I′_Depth(x，y)，x表示图像像素点水平方向上的坐标，y表示图像像素点垂直方向上的坐标，x的取值为x＝0，1，2，...，H-1，y的取值为y＝0，1，2，...，V-1，H表示图像的水平分辨率，V表示图像的垂直分辨率；

(b)对于步骤(a)得到的平滑深度图I′_Depth(x，y)沿水平方向进行扫描，计算水平方向上相邻两个像素点之间深度差值的绝对值，并将该绝对值与一个预先设定的阈值th进行比较，确定深度值较小的物体水平方向轮廓扩展的方向dir(x，y)，-1表示水平向左扩展，1表示水平向右扩展，0表示不做扩展，表示公式如下：