[发明专利]一种基于分块投影的DIBR方法

权利要求书

1.一种基于分块投影的DIBR方法，其特征在于：首先，获取参考视点的彩色图像、深度图和两个视点的摄像机几何参数；其次，将参考图像分成若干的分块区域，并对每个分块区域进行投影变换；最后，将目标视点图像中各分块区域整合，并修复空洞，以得到最终的目标视点图像。

2.根据权利要求1所述的一种基于分块投影的DIBR方法，其特征在于，包括以下步骤：

1)获取参考视点图像及对应的深度图，以及目标视点的深度图；

2)将参考图像分成若干分块区域，并近似作平面处理，以用于单应变换模型；

3)针对各分块区域，利用视点变换方程求取对应点对；

4)计算出各分块区域的单应矩阵，然后作单应变换，最后将各分块投影区域进行整合，并进行空洞修补得到最终的目标视点图像。

3.根据权利要求2所述的一种基于分块投影的DIBR方法，其特征在于：在步骤2)中，一个视点图像可经由单应矩阵映射到对应的另一个视点图像，前提是这两个图像在3D空间中的原像是一个空间平面，因此不能简单地将这个模型作用于整幅图像上；而就图像中的某一小块区域而言，由于在极小的范围内任何物体的表面都可近似为平面，此时对于单应变换模型成立；而分块区域的标准差描述如下：

σij=1NMΣn=1NΣm=1M[d(n,m)-μ]2]]>

其中，分块区域的大小为N×M，d(n,m)表示该区域像素点对应的深度值，μ为区域内的平均深度值，σ_ij为标准差，它反映了整个第i行、第j列的分块区域的平均深度值的分散程度；我们用σ_ij来描述分块区域采用单应变换模型的近似误差，显然，σ_ij越小，则误差越小。

4.根据权利要求2所述的一种基于分块投影的DIBR方法，其特征在于：在步骤3)中，所述视点变换方程为：m＝PM，式中m和M分别表示像素点的相机空间和世界空间坐标，矩阵P表示摄像机矩阵；分块处理的方式为：将参考图像分成若干合适的分块区域，由于分块区域至少需要4个对应点对，因此规定分块区域的大小为M×N,5≤N,M≤15，分块不宜过大，这样会增大单应变换模型的近似误差，也不宜过小，这会增加计算复杂度，通常取N＝M＝8；然后，对分块区域进行单应变换：m′＝H_ijm，式中矩阵H_ij描述了参考视点图像的分块区域到目标视点图像的一一映射，称为单应矩阵，通过特征点求得；对应点对的定义：参考视点图像中分块区域的一个点m，经过视点变换能映射到目标视点图像的点m′，则称顶点m与m′是一个对应点对。

5.根据权利要求2所述的一种基于分块投影的DIBR方法，其特征在于：在步骤4)中，所述单应变换的原理为：空间平面在两个摄像机下的图像点具有一一对应的关系，且这种对应关系是齐次线性的，可由一个三阶矩阵即单应矩阵来描述：m′＝H_ijm；矩阵H_ij称为单应矩阵，它是齐次的，有8个自由度，如下所示：

Hij=aijbijcijdijeijfijgijhij1;]]>

记参考视点图像中的一个像素点的齐次坐标为m＝[u，v，1]^T，虚拟视点图像中的一个像素点的齐次坐标为m′＝[u′，v′，1]^T，则可推导出：

uaij+vbij+cij-u′ugij-u′vhij=u′udij+veij+fij-u′vgij-v′vhij=v′]]>

由于矩阵H_ij有8个自由度，而一个对应点对只能建立如上两个方程，因此要求解含8个未知数的方程组至少需要8个方程，也就是至少要有4个对应点对，而这些对应点对可以利用相应的深度信息进行视点变换来获得；在某分块区域内不妨取4个对应点对m_k、m′_k(k＝1,2,3,4)，则由上式可以推导出一个非齐次线性方程组：

A_ijX_ij＝Y_ij

其中，i、j分别表示分块区域所在的行、列下标，常数项向量Y_ij＝[u₁′,v₁′,...,u₄′,v₄′]^T，未知数向量X_ij＝[a_ij,b_ij,...,g_ij,h_ij]^T，系数矩阵A_(8×8)如下所示：

Aij=u1v11000-u1u1′-u1′v1000u1v11-u1v1′-v1v1′............u4v41000-u4u4′-u4′v4000u4v41-u4v4′-v4v4′]]>

由非齐次线性方程组的解理论可知，上式具有唯一解，当且仅当系数矩阵的秩满足具体操作时，可分别在各分块区域取顶点位置附近的像素点，另外，也可通过多取几个对应点对来减小计算误差；

若成功求得单应矩阵H_ij,则直接对分块区域中的每个像素点做单应变换，即可一一映射到目标视点的图像平面坐标系中,初步绘制出目标视点图像的对应区域；

若无法计算单应矩阵，则取与之相邻的分块区域的单应矩阵H_ij,然后对分块区域进行单应变换，其依据是：目标视点的空洞区域往往出现在从背景对象到前景对象深度剧烈变化的过度区域，而实际上过度区域同属于平坦的背景区域，因此可视为具有相近深度的同一平面，其效果就是将参考视点中的背景像素点填充到了目标视点中的空洞区域，平滑的具体原则：考虑用一个右眼视点及其深度图来绘制一个左眼视点图像，显然，空洞会出现在前景对象的左侧区域，即在水平方向上深度值由低到高剧变的区域：

L(x,y)=1,d(x+1,y)-d(x,y)≥θ0,else]]>

因此，在这种情况下应选择与之左邻的分块区域来平滑；同理，当以左眼视点来绘制右眼视点时，应选择与之右邻的分块区域来平滑；

将上述步骤绘制出的各目标视点图像区域进行简单的融合，并采用邻域插值法修复残留的空洞区域，获得最终的目标视点图像。