[发明专利]一种高速高质量的自由视点图像合成方法

摘要

一种高速高质量的自由视点图像合成方法，读取相邻相机参考视点的图像和深度图，对参考视点图像进行三维变换，搜索左右参考视点深度图中对象的边缘，将边缘像素3维变形到新视点处，然后将新视点处对应深度像素点抹去；将得到的深度图进行中值滤波，并将经过滤波之后的图像与经3维变形得到的深度图进行对比，标记出变化的像素点；对标记的像素点进行反向投影，投影到原先的参考视点处；再将初始参考纹理图中的像素值，赋给新视点图像中，与被标记像素点坐标相同的像素；对遮挡区域进行插值；根据新视点所处的位置，对公共区域进行按比例融合；用OpenCV函数库中的inpaint函数，对残留的空洞进行修复。本发明实时性较好。

主权项

1.一种高速高质量的自由视点图像合成方法，其特征在于：所述方法包括以下步骤：1)搭建环境；利用通用并行运算架构CUDA提供的应用程序编程接口API进行平台查询，获取该平台上可用的设备对象；2)读取待处理图像和处理矩阵；将中央处理器CPU作为主机端读取相邻摄像机的参考视点图像及深度信息图像，将读取的待处理图像保持到中央处理器CPU的内存；读取各个摄像机的正交旋转矩阵R，平移矩阵T，内参矩阵Q，将读取的处理矩阵保持到中央处理器CPU的内存；3)拷贝处理矩阵R,T和Q和待处理图像；4)执行第一个核函数，核函数构建方法如下：其中Px,Py表示点在参考视点图像中的坐标，[X,Y,Z,1]^T表示世界坐标系中点的坐标，Xcam是以摄像机坐标系表示的点的坐标，R表示摄像机的正交旋转矩阵，C表示摄像机中心在世界坐标系中的坐标，Xcam表示经过DIBR技术变换后点的位置；将原参考视点图像中的坐标Px,Py所在的点的像素信息复制到新图像Xcam位置点，将深度信息图中坐标Px,Py所在点的深度信息复制到新深度图Xcam位置点，生成新的参考视点的纹理图和深度信息图；5)执行第二个核函数，核函数构建方法如下：其中，P表示图像序列，D表示参考视点的深度图，T_d为自定义阈值，经实验验证，一般取最大深度值的1/4,若像素点D(x,y)满足上式，则表示像素点为重影,需要进行处理，处理过程如下：如果是重影点，对这像素点进行DIBR处理，得到Xcam，在经DIBR处理后的深度图中Xcam所在点的深度值置为0；6)执行第三个核函数，核函数构建如下：yk＝med{xk‑N‑1,xk‑N,xk‑N+1,...,xk,...,xk+N+1}；其中y可表示处理后该点的深度值，med表示取中值的操作，xk‑N‑1,xk‑N,xk‑N+1,...,xk,...,xk+N+1表示模板内的点的深度值，将中间暂时保存的深度信息图相应位置的值用yk可的值代替；(7)执行第四个核函数，核函数构建如下：其中，Dep_old(u,v)表示原深度图在(u,v)点的深度值，Dep_tmp(u,v)表示中间暂时保存的深度图在(u,v)的深度值，(u_cam,v_cam)表是点(u,v)经DIBR变化后的坐标位置，Tex_old(u_cam,v_cam)表示原视点图在(u_cam,v_cam)位置的色彩值，Dep_old(u_cam,v_cam)表示原深度图在(u_cam,v_cam)位置的深度值；8)对经第四个核函数处理后的视图图像和深度图进行中值滤波处理；9)执行第5个核函数，核函数构建方法如下：设定一个阈值t，用于以下步骤；其中其中,I_l(u₁,v₁)表示由左边视点作为参考视点得到的新视点(u,v)处的像素值，I_r(u₂,v₂)表示由右边是视点作为参考视点得到，I(u,v)表示新视点图像中的像素值，O表示图像在(u，v)处有无空洞，若存在空洞则O为1，Z为新视点(u,v)在处的深度值，α由参考视点与新视点之间的距离有关，α由下式决定：其中T,T_l,T_r分别为新视点，左参考视点以及右参考视点在摄像机的平移量；10)将生成的新视点的图像和深度图由图形处理器GPU的显存上复制到中央处理器CPU的内存上；11)用OPENCV的库函数中调用inpaint函数，对图像中的空洞进行修补；12)保存结果图像。