[发明专利]一种基于时空一致性的无约束多相机画面匹配方法

说明书

本发明公开了一种基于时空一致性的无约束多相机画面匹配方法，包括以下步骤：读取基准相机和辅从相机的拍摄画面；分别对当前帧画面提取特征点；计算每个特征点的特征描述向量；对特征描述向量进行相似性比对，建立对应特征点的匹配关系；查询匹配关系中的稳定匹配关系，根据稳定匹配关系的数量筛选用于计算变换矩阵的特征点集；根据筛选后的特征点集间的匹配关系计算出变换矩阵，得到两相机画面间的匹配关系；读取下一帧图像重复上述步骤，直至结束；本发明在筛选匹配关系时，充分考虑了时空一致性，通过对稳定匹配关系的检索获取有效先验信息，用以筛选当前匹配关系，能够有效增强无约束相机相邻帧间进行图像匹配的稳定性，提高匹配的精度和效率。

技术领域

本发明属于图像匹配技术领域，更具体地，涉及一种基于时空一致性的无约束相机画面匹配方法。

背景技术

在多相机联合目标探测、跟踪、场景拼接和重建等诸多应用中，需要对多相机图像进行配准。现有技术的图像配准思路是提取同一时间各相机获取的图像，提取各图像的特征点，然后利用特征点匹配的方法，获得图像间的最优匹配点集，再利用该点集计算相机间的投影变换关系矩阵，最后实现多相机图像间的配准。然而，这种处理模式的效果依赖于稳定的最优匹配点集，当面对相机间的相对空间关系无约束等应用情形时，由于各相机空间位置独立自由变化，相机间的配准关系随时间发生快速变化，同一时间相机所获得的图像间的最优匹配点集会发生较大变化，在干扰特征点的影响下，容易发生错配，导致图像间的匹配关系不稳定，使图像间共同场景的检测和定位产生剧烈抖动，不利于后续多相机视频图像的处理。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于时空一致性的无约束相机画面匹配方法，其目的在于将前帧的稳定关系矩阵作为先验信息用于验证当前帧的匹配关系以使得连续时段内的匹配关系更为平滑和准确。

为实现上述目的，按照本发明的一个方面，提供了一种基于时空一致性的无约束相机画面匹配方法，包括如下步骤：

S1：图像读取：读取两个无约束相机A、B拍摄的第n帧图像；

S2：特征点提取：分别对两个无约束相机A、B的第n帧图像提取特征点Ω(A，n)、Ω(B，n)；

S3：特征描述：对每个特征点计算特征描述向量α_n、β_n；

S4：特征匹配：对特征描述向量α_n、β_n进行相似性比对，建立与特征点对应的匹配关系集合M(Ω(A，n+1)，Ω(B，n+1))；

该集合中的每个元素表示一对匹配点的索引，其中左索引号对应Ω(A，n+1)的点，右索引号对应Ω(B，n+1)中的点；

S5：匹配关系筛选：遍历查询匹配关系集合M(Ω(A，n+1),Ω(B，n+1))中的稳定匹配关系，将稳定匹配关系归入稳定匹配关系集合SM(Ω(A，n+1),Ω(B，n+1))中，当稳定匹配关系的数量达到阈值N，则用稳定匹配关系集合SM(Ω(A，n+1)，Ω(B，n+1))的值更新最优匹配关系集合BM(Ω(A，n+1),Ω(B，n+1))；

否则，对匹配关系集合M(Ω(A，n+1),Ω(B，n+1))采用RANSAC算法进行筛选以保留匹配关系集合M中的较优匹配关系，将该较优匹配关系归入集合Ransac Matching，记作RM(Ω(A，n+1),Ω(B，n+1))中，并用该集合RM更新集合最优匹配关系集合BM(Ω(A，n+1),Ω(B，n+1))；

其中，较优匹配关系是指与最优匹配关系集合BM中的元素具有最大一致性或在匹配关系集合M中为最大一致集；

S6：变换矩阵计算：查询最优匹配关系集合BM(Ω(A，n+1),Ω(B，n+1))中的索引在当前帧中对应的实际坐标，通过实际坐标与和集合BM确定的匹配关系计算出变换矩阵H_n+1，建立图像间的位置匹配关系；