[发明专利]基于单摄像头的360度全景影像生成方法

摘要

本发明公开了一种基于单摄像头的360度全景影像生成方法，主要解决目前实现车载360度全景影像的方法需要4个摄像头的问题。其技术方案是：1.通过摄像机标定，求解将图像变换为顶视图的单应性变换矩阵M；2.将每帧图像转换为顶视图，并对每帧转换后的顶视图进行特征点检测与匹配；3.求解相邻帧间的旋转矩阵和平移向量，实现顶视图拼接；4.判断拍摄是否停止，若拍摄未停止，则返回步骤2，若拍摄停止，则停止循环，在车辆行驶多于一个车身的距离后，得到车身周围360度的动态全景影像。本发明具有成本低廉、安装简便的优点，实现了使用单个摄像头获得360度全景影像的功能，鲁棒性高，可用于行车或泊车时对车辆周围情况的观察。

主权项

1.一种基于单摄像头的360度全景影像生成方法，其特征在于包括：(1)使用一个车载前摄像头或后摄像头，并用定标板对摄像头采集到的采样图像进行标定，得到摄像头的内参矩阵K和畸变系数D；(2)将定标板平置在地面之上，利用摄像机拍摄一幅包含定标板的混合图像，并检测该混合图像上的定标板角点,利用步骤(1)中得到的内参矩阵K和畸变系数D对混合图像进行畸变校正，进而得到畸变校正后混合图像上的定标板角点,定义一个顶视图坐标系以及该坐标系下对应定标板角点的点集；(3)计算畸变校正后混合图像上的定标板角点投影到顶视图坐标系下的对应点的单应性变换矩阵M：(3a)设畸变校正后混合图像上的定标板角点点集的齐次坐标矩阵为XS＝[XS1 XS2 … XSi … XSn]，其中XSi是XS的第i列，XSi＝[xSi ySi 1]T，xSi为角点的横坐标，ySi为纵坐标，n为检测到的角点数目；(3b)设顶视图坐标系下与定标板角点位置对应的点集齐次坐标矩阵为XT＝[XT1 XT2 … XTi … XTn]，其中XTi是XT的第i列，XTi＝[xTi yTi 1]T，xTi为与角点相对应的点的横坐标，yTi为与角点相对应的点的纵坐标；(3c)根据XS与XT满足单应性变换关系：XT＝M·XS，求解单应性变换矩阵M推导得到：Am＝0，其中A是一个2n×9的矩阵,n为定标板上检测到的角点数目：m＝[h11 h12 h13 h21 h22 h23 h31 h32 1]T，其中h11、h12、h13分别表示单应性变换矩阵M中的第1行的第1列、第2列和第3列，h21、h22、h23分别表示单应性变换矩阵M中的第2行的第1列、第2列和第3列，h31、h32分别表示单应性变换矩阵M中的第3行的第1列和第2列；(3d)使用奇异值分解将上述2n×9的矩阵A分解为两个正交矩阵UA和VA，以及一个奇异值矩阵SA,奇异值矩阵SA中最小的奇异值对应的第二个正交矩阵VA中的奇异向量即为最小二乘解,也就是上述向量m的解，进而得到单应性变换矩阵M；(4)利用步骤(1)和步骤(3)的结果，在车辆行驶时对摄像头采集的每帧图像进行转换，得到每帧图像转换后的顶视图；(5)对每帧图像转换后的顶视图进行特征点检测：若检测的当前帧是第一帧，则直接执行步骤(6b)，否则，将检测到的特征点与前一帧图像的特征点进行匹配，求解两相邻帧在顶视图坐标系下的旋转矩阵R和平移向量t，执行步骤6a)；(6)顶视图拼接：6a)根据步骤(5)求得的旋转矩阵R和平移向量t，将顶视图与新采集到的图像的顶视图拼接形成新的顶视图，并进行保存；6b)在新的顶视图中，将当前帧的顶视图部分保留为彩色，其余部分为灰色图像；6c)将汽车模型图案显示在屏幕中，使生成的顶视图与当前车身所在位置相对应；(7)循环执行步骤(4)到步骤(6)，在车辆行驶多于一个车身的距离后，得到车身周围360度的动态全景影像，直到拍摄停止。