[发明专利]一种基于ORB特征的实时全景视频拼接方法和装置

权利要求书

1.一种基于ORB特征的全景视频实时拼接方法，其特征在于，包括以下步骤：

步骤1开始操作，采集多路同步视频数据；

步骤2对同一时刻的各路图像进行预处理即把彩色图像变成256级的灰度图像，并对图像采用高斯滤波器进行去噪处理；

步骤3采用ORB特征提取算法对同一时刻的各路图像进行特征点提取并计算各特征点的ORB特征向量；

步骤4采用最邻近匹配法和RANSAC(随机抽样一致性)匹配算法求出同步视频对应帧间的单应性矩阵；

步骤5根据单应性矩阵进行视频帧场景的拼接；

步骤6输出拼接后的视频。

2.根据权利要求1所述的步骤2中对同一时刻的各路图像进行预处理即把彩色图像变成256级的灰度图像，并对图像采用高斯滤波器进行去噪处理。具体包括以下步骤：

步骤2-1：彩色图像变成灰度图像：Gray(x，y)＝0.3R(x，y)+0.59G(x，y)+0.11B(x，y)；

步骤2-2：高斯滤波去噪处理，高斯滤波模板为：

116×121242121]]>

3.根据权利要求1所述的步骤3中，采用ORB特征提取算法对同一时刻的多路图像进行特征点提取并计算各特征点的特征向量，其特征在于，其步骤包括：

步骤3-1：检测以候选特征点为圆心、r为半径的圆周上点的像素值，如果圆周上有足够多的连续点与该候选点的灰度值差值大于阈值d，则认为该候选点为一个特征点。

N=Σx∈circle(c,r)|I(x)-I(c)|>d]]>

其中I(x)是以c为圆心、r半径的圆周上任意一点的灰度，I(c)为圆心的灰度，d为灰度值差得阈值，N为满足条件的连续点的个数，如果N大于圆周的四分之三，则认为点c是一个特征点。

步骤3-2：特征点的主方向是通过矩计算而来，计算以特征点为中心，r为半径圆周区域的矩公式如下：

mij=ΣxΣyxiyiI(x,y)]]>

那么该圆周区域内的质心为

pc=(m10m00,m01m00)]]>

特征点的主方向可以用来表示，角度为

θ＝atan2(m₁₀，m₀₁)

步骤3-3：在以特征点为中心，s*s的区域中，选取n个有序的点对(p_i，q_i)，每次计算这n个点对的位置都相同，否则影响最终结果。

对这些点对，按照θ角度进行旋转，

S_θ＝Rθ_S

步骤3-4：按照如下公式，比较点对的灰度值，并用一个比特来保存结果。

T(Sθ;p,q)=1ifI(p)<I(q)0otherwise]]>

那么ORB特征值就为有序n个比较结果组成的比特序列。

fn(Sθ)=Σ1≤i≤n2i-1T(p;pi,qi)]]>