[发明专利]基于相机位姿估计和空间采样的2D全景视频生成

说明书

技术领域

本发明涉及本发明涉及数字图像处理与计算机视觉领域，具体是对一段时间拍摄的图片序列，估计出摄像机的位姿，生成2D全景视频的方法。

背景技术

图像的特征提取和描述是基于特征的图像处理和计算机视觉的基础环节，特征检测算子的检测性能和描述算子的表征性能直接决定了图像处理的效率和精度。在实际问题中图像可能受到噪声、背景的干扰，也可能发生视角、光照、尺度、平移、旋转、仿射等，选择合理的图像特征和描述算子，使得这些特征不仅具有良好的表征性而且具有良好的鲁棒性是一个十分关键的问题。

三角测量法用于从二维的图像对或者视频序列中恢复出相应的三维信息，其中包括成像摄像机的位姿信息以及场景的结构信息。

Bundleadjustment在计算机视觉中是每一个基于特征的三维重建算法的最好的优化算法，该算法用于优化计算出来的相机光心和重建的三维点。

发明内容

发明目的：本发明的目的是为了解决现有技术的不足，提供一种基于相机位姿估计的2D全景视频生成方法，通过对图片序列的位姿估计，再将位姿信息投影到采样空间生成2D全景视频。

技术方案：为了实现以上目的，一种基于相机位姿估计和空间采样的2D全景视频生成，该方法的具体步骤如下：

(1)根据输入的一组视频帧，利用相邻视频帧图像间的匹配特征点信息和多视角模型标定出相机的初始位置和姿态，并利用bundle adjustment算法优化每一帧对应的相机位置和姿态，最终获得每一视频帧所对应的精确的相机位置和姿态，构成相机位姿集合；

(2)根据相机位姿集合中的相机的位置和姿态在空间中的分布情况，拟合出一个2D采样曲面，并在采样2D曲面上选取n个采样点；

(3)根据步骤2中所述相机的位置和姿态定义空间度量距离，对于每一个采样点，在相机位姿集合中选取距离当前采样点最近邻相机所对应的视频帧作为当前采样点的图像；

(4)在空间2D采样曲面上选一条路径，被所述路径穿过的采样点图像构成一个图像序列，展示图像序列所记录的场景内容，构成一个空间全景视图。

步骤(1)所述的具体操作步骤为：

a)通过公式判别特征点p是否是一个特征点，其中I(x)为圆周任一点像素值，I(p)为候选点像素值，ε为相差阀值，，N为圆周上有N个点满足则为角点，用机器学习的方法筛选最优特征点，用非极大值抑制算法去除临近位置多个特征点；

b)建立多尺度空间的图像金字塔，实现特征点的多尺度不变性；

c)特征点的旋转不变性,通过矩来计算特征点以r为半径范围内的质心，特征点坐标到质心形成一个向量作为该特征点的方向；

d)利用张正友标定法，计算出相机的内参数矩阵K，相机畸变系数矩阵M；

e)利用相邻图像间的匹配特征点对的极线约束关系，对任一匹配特征点对x和x′，都符合x′F^Tx＝0，使用RANSAC方法随机抽样n个特征点对进行基础矩阵F的计算；

f)将基础矩阵F转换至归一化图像坐标下的本征矩阵E＝K′F^TK，将本征矩阵E进行奇异值分解，得到相邻相机的外参数矩阵R_t2的四个可能的相机外参数矩阵；

g)利用四个可能的相机外参数矩阵对三维点进行三角测量，并利用三维点始终在相机前这一空间位置关系筛选出四个可能的相机外参数矩阵中的唯一一个正确的相机外参数矩阵，并在所有双视角模型的外参数矩阵计算完毕后，将其进行平均化处理，减小最大误差；

h)将所述双视角模型统一坐标系，转换至摄像机坐标系中，然后对整个多视角模型进行捆绑调整，通过调整相机的位姿、三维点云的位置最小化重投影误差，将所有双视角模型都添加进多视角模型中就完成多视角模型的创建。

步骤(2)中所述的，根据相机位姿集合中的相机的位置和姿态在空间中的分布情况，拟合出一个2D采样曲面，并在采样2D曲面上选取n个采样点的具体操作步骤为，基于生成的相机位姿信息，插值生成2D采样曲面；

具体为一个平面可被其法向量定义为n＝(a,b,c),由点到平面的距离公式可定义平面为ax+by+cz+d＝0,令C＝1；则该公式可变为ax+by+cz＝-d；对所有相机坐标点有

利用最小二乘法：

可得

取所有视频帧位姿信息质心为坐标原点，可以去掉第三行：

根据克拉默法则可得平面方程：