[发明专利]一种基于深度图像的新视点合成方法

摘要

一种基于深度图像的新视点合成方法，对左右参考视点处的纹理图与深度图进行三维变换；搜索左右参考视点深度图中对象的边缘，将边缘像素进行三维变换到新视点处，然后将新视点处对应的深度像素点抹去；对得到的深度图进行中值滤波，并将经过滤波之后的图像与经三维变换得到的深度图进行对比，标记出变化的像素点；对被标记的像素点进行反向投影，投影到原先的参考视点处，再将初始参考纹理图中的像素值，赋给新视点图像中，与被标记像素点坐标相同的像素；再对得到的新视点图像的遮挡区域进行插值；对残留的空洞进行修复，得到最终的新视点图像。本发明有效消除了新视点图像中的空洞与重影，实验效果良好，生成的新视点图像满足人眼观看效果。

主权项

1.一种基于深度图像的新视点合成方法，其特征在于，所述的视点合成方法包括以下步骤：(1)对左右参考视点处的纹理图与深度图进行三维变换，变换过程如下：1.1)将图像存储坐标系中的每一个像素点，结合相应的深度信息，投影到世界坐标系中：PWi＝(XWi，YWi，ZWi)T＝(KiRi)-1(λiPi+KiRiCi)，(i＝l，r)其中PWi＝{PWi＝(XWi，YWi，ZWi)T|i＝l，r}表示参考视点图像当前位置处的像素点在世界坐标系中的三维坐标，l和r分别表示左、右，XWi和YWi分别为世界坐标系中的横纵坐标，为深度，di为当前位置处深度图的灰度值，MinZi和MaxZi分别为当前帧对应的深度图像中的最小和最大灰度值，表示摄像机的内参矩阵，fxi＝{fxi∈R|i＝l，r}和fyi＝{fyi∈R|i＝l，r}分别为左右摄像机x方向与y方向上的焦距，R为实数，u0i＝{u0i∈R|i＝l，r}和v0i＝{v0i∈R|i＝l，r}分别为左右摄像机的主点在图像存储坐标系中的坐标，Ri＝{Ri∈R3×3|i＝l，r}表示摄像机的旋转矩阵，R3×3表示维度3×3的实数域矩阵空间，λi＝{λi＝Fi31XWi+Fi32YWi+Fi33zWi+Fi34|i＝l，r}为摄像机的齐次比例缩放因子，为投影矩阵，Ti＝{Ti∈R3×1|i＝l，r}为摄像机的平移矩阵，Pi＝{Pi＝(ui，vi，1)T|i＝l，r}为参考视点的齐次图像存储坐标，ui＝{ui∈R|i＝l，r}和vi＝{vi∈R|i＝l，r}分别为当前像素点在图像存储坐标系中的横、纵坐标，Ci为摄像机的中心坐标；对相应的深度图做同样的处理：DWi＝(XWi，YWi，ZWi)T＝(KiRi)-1(λiDi+KiRiCi)，(i＝l，r)其中DWi＝{DWi＝(XWi，YWi，ZWi)T|i＝l，r}表示参考视点深度图当前位置处的像素点在世界坐标系中的三维坐标，Di＝{Di＝(u0i，v0i，1)T|i＝l，r}为参考视点深度图的齐次图像存储坐标；1.2)将经过第一次投影得到的每一个点，结合目标新视点处虚拟摄像机的内外参数，以及深度信息，重新投影到新视点的图像平面坐标系中：PNewi＝(KNewiRNewiPWi-KNewiRNewiCNewi)/λNewi，(i＝l，r)其中PNewi＝{PNewi＝(uNewi，vNewi，1)|i＝l，r}为Pi在新视点处对应点的坐标，uNewi＝{uNewi∈R|i＝l，r}和vNewi＝{vNewi∈R|i＝l，r}分别为当前像素点在图像存储坐标系中的横、纵坐标，KNewi、RNewi、CNewi、λNewi表示新视点处虚拟摄像机的内参矩阵、旋转矩阵、中心坐标以及其次比例缩放因子；对应的新视点深度图表示为：DNewi＝(KNewiRNewiDWi-KNewiRNewiCNewi)/λNewi，(i＝l，r)其中DNewi＝{DNewi<