[发明专利]一种基于ORB特征的实时全景视频拼接方法和装置

说明书

所属技术领域

本发明属于计算机视觉图像处理技术领域，特别是涉及一种基于ORB特征的实时全景视频拼接方法和装置。

背景技术

图像拼接技术就是将数张有部分重叠的图像拼成一幅大型的无缝高分辨率图像的技术。使用普通相机获取宽视野的场景图像，因为相机的分辨率一定，拍摄的场景越大，得到的图像分辨率越低；而全景相机、广角镜头等不仅非常昂贵，且失真严重。为了在不降低图像分辨率的条件下获取超宽视野，甚至360°的全景图，出现了利用计算机进行图像拼接方法，该方法在近两年发展速度较快。现在图像拼接技术已经成为计算机图形学的研究焦点，被广泛应用于空间探测、遥感图像处理、医学图像分析、视频压缩和传输、虚拟现实技术、超分辨率重构等领域。

图像配准和图像融合是图像拼接的两个关键技术。图像配准是图像融合的基础，而且图像配准算法的计算量一般非常大，因此图像拼接技术的发展很大程度上取决于图像配准技术的创新。专利申请号200810237427.8采用SIFT特征点进行图片配准，虽然可以保证匹配的精度，但是运算量比较大。专利申请号201010587394.7采用SURF特征进行图像配准，算法的复杂度得到了降低，但是它只对视频的前几帧图像进行了配准，不能保证在摄像头抖动等情况下的图像拼接效果。专利申请号200910153173.6采用DSP和广角镜头来做前景视觉泊车辅助装置，但是广角镜头的内部参数K和失真系数是事先通过固定位置获取的，对于不同的车型和摄像头震动适应性不强。因此迫切需要一种考虑能处理摄像头旋转和抖动、被拍摄物体尺寸和光照变化的实时全景视频拼接方法和装置。

发明内容

本发明的目的是提供一种基于ORB特征的全景视频实时拼接方法及装置，以解决视频中单帧图像拼接计算量大以及视频拼接速度慢等技术难题。

为达到上述目的，本发明一方面提出了一种基于ORB特征的全景视频实时拼接方法，包括以下步骤：

步骤1开始操作，采集多路同步视频数据；

步骤2对同一时刻的各路图像进行预处理即把彩色图像变成256级的灰度图像，并对图像采用高斯滤波器进行去噪处理；

步骤3采用ORB特征提取算法对同一时刻的各路图像进行特征点提取并计算各特征点的ORB特征向量；

步骤4采用最邻近匹配法和RANSAC(随机抽样一致性)匹配算法求出同步视频对应帧间的单应性矩阵；

步骤5根据单应性矩阵进行视频帧场景的拼接；

步骤6输出拼接后的视频。

如上所述步骤3中，采用ORB特征提取算法对同一时刻的多路图像进行特征点提取并计算各特征点的特征向量，其步骤包括：

步骤3-1：检测以候选特征点为圆心、r为半径的圆周上点的像素值，如果圆周上有足够多的连续点与该候选点的灰度值差值大于阈值d，则认为该候选点为一个特征点。

N=Σx∈circle(c,r)|I(x)-I(c)|>d]]>

其中I(x)是以c为圆心r半径的圆周上任意一点的灰度，I(c)为圆心的灰度，d为灰度值差的阈值，N为满足条件的连续点的个数，如果N大于圆周的四分之三，则认为点c是一个特征点。

步骤3-2：特征点的主方向是通过矩计算而来，计算以特征点为中心、r为半径圆周区域的矩的公式如下：