[发明专利]图像处理方法和装置

说明书

技术领域

本发明的实施例涉及图像处理领域，并更具体地，涉及一种图像处理方法和装置。

背景技术

三维拍照技术是对传统视频图像采集的一大改进，目的在于把图像采集的二维图像序列，通过一系列的处理，呈现出三维浏览的效果。使得图像采集结果不仅仅是一段视频，除了从图像采集的角度被动的观察目标物体以外，还可以主动的调整观察角度，从各个方向进行观察。

通常，恢复每张图像对应的摄像机参数可以采用运动推断结构(Structure-from-Motion)技术。摄像机参数包括摄像机内参矩阵K和运动参数[R|T]，R为一个3x3的旋转矩阵，表示相机朝向；T为一个3维平移向量，表示相机在场景中的平移。对于场景中任意三维点X，可通过摄像机参数投影至图像中一点x：

其中为二维点x的齐次坐标系，即将这样的投影关系用一个投影函数π表示：x＝π(K,R,T,X)。如果不同图像间存在足够多的公共点，则可通过最小化能量函数同时恢复每帧图像对应的摄像机参数和所有场景点的三维位置：

其中(K_i,R_i,T_i)为第i帧的摄像机参数，X_j为第j个三维点位置，若第j个三维点在第i帧图像中可见，则v_ij＝1，x_ij为第j个三维点在第i帧图像中的位置，否则v_ij＝0。

算法需要自动由图像中提取特征点，并将不同图像中对应于相同场景点的图像特征点匹配起来。具体地，对每张图像提取SIFT(尺度不变特征转换)特征点，并为每个SIFT特征点计算一个64维的向量，称为特征描述量。特征描述量包含了特征点周围的图像信息，不同图像中，对应于相同场景点的特征描述量相近，因此，可通过计算特征描述量的欧式距离，将不同图像中对应于相同场景点的图像特征点匹配起来。另外，每两张图像的匹配点之间应满足极线几何约束，因此可以利用这一约束，使用RANSAC(随机抽样一致)方法剔除误匹配。

然后，根据特征匹配的结果，采用渐进式的运动推断结构(Structure from Motion)技术来恢复每张图像对应的运动参数以及场景中稀疏的三维点位置。例如，系统选择公共点较多、基线较长的图像对，使用五点法估计这两帧图像相机相对位置，并使用三角化算法为这两帧的公共点估计三维位置。对于其余帧图像，若某一帧中可见足够多已恢复的三维点，则使用EPnP算法估计该帧对应的摄像机参数，并再次使用三角化算法往场景中添加该帧图像中尚未恢复的三维点。将这一步骤迭代进行，直至所有帧均被处理。为消除误差累积，每次迭代后，可以使用集束调整技术联合优化所有已恢复的摄像机参数和三维点云。

现有技术有一种三维拍照技术，首先利用Structure from Motion技术恢复摄像机参数和场景三维点，并根据浏览视点的摄像机参数选取最接近的源图像。然后根据场景三维点，对源图像建立网格，并根据三维点在源图像上的投影建立纹理映射关系。再以多帧源图像进行绘制，然后根据视角关系进行阿尔法混合。最后对缺失区域进行补全。

由于遮挡的关系，观察视角下部分区域可能在拍摄条件下并不可见，在实时绘制阶段得到最终投影结果之后再进行补全，则会对显示的效率造成极大影响，使得实时绘制的流畅度大大降低。

发明内容

本发明的实施例提供了一种图像处理方法和装置，能够保证图像浏览的完整性的同时，提高图像浏览的速度。

第一方面，提供了一种方法，该方法包括：获取多个视频帧，多个视频帧是从不同角度对同一场景采集得到的；根据多个视频帧之间的对应像素点，确定每个视频帧的深度图；根据多个视频帧的深度图，对多个视频帧的背景缺失区域进行补全，得到多个视频帧的补全视频帧以及多个补全视频帧的深度图；根据多个视频帧中每个视频帧与每个视频帧的补全视频帧在背景缺失区域的遮挡关系，生成每个视频帧的阿尔法图；根据多个视频帧、多个视频帧的补全视频帧，以及多个视频的阿尔法图，生成指定浏览视角下的浏览帧。

结合第一方面，在第一方面的第一种可能的实现方式中，根据多个视频帧、多个视频帧的补全视频帧，以及多个视频的阿尔法图，生成指定浏览视角下的浏览帧，包括：获取浏览视角与多个视频帧的采集视角之间的位置关系；根据位置关系，从多个视频帧中选择目标视频帧；将目标视频帧和目标视频帧的补全视频帧的像素映射至浏览视角下；利用目标视频帧的阿尔法图，对映射至浏览视角下的像素进行混合，生成浏览帧。