[发明专利]基于多特征交叉一致性模型的图像匹配方法

权利要求书

1.一种基于多特征交叉一致性模型的图像匹配方法，其特征在于，包括：

(1)获取基于同一图像对的两组特征点下的多种不同局部特征描述符，并通过特征匹配获得每种特征描述符的初始特征匹配关系矩阵；

(2)基于每种特征描述符的初始特征匹配关系矩阵建立跨特征的匹配关系矩阵，并融合特征描述符内的匹配关系矩阵与特征描述符间的匹配关系矩阵得到多特征交叉匹配块矩阵，其中，多特征交叉匹配块矩阵满足对称性；

(3)引入一个虚拟的总集，并假设所有能匹配上的特征点都属于该虚拟总集，并为多特征交叉匹配块矩阵引入闭环约束，以使得该多特征交叉匹配块矩阵能够通过谱分解方法优化；

(4)基于谱分解方法并结合快速特征值分解对多特征交叉匹配块矩阵进行优化重构，进而得到最终的图像特征匹配结果；

步骤(1)包括：

(1.1)对包含目标场景的图像对进行特征检测，获取图像对中的第一图像的m个特征点组成第一组特征点，获取图像对中第二图像的n个特征点组成第二组特征点；

(1.2)使用N种不同的局部特征描述符算法分别获得第一组特征点中各特征点的特征描述符，使用该N种不同的局部特征描述符算法分别获得第二组特征点中各特征点的特征描述符；

(1.3)对于每种特征描述符下的两组描述符，获取每种特征描述符的初始特征匹配关系矩阵P_kk∈{0,1}^m×n，k＝1,...,N，其中，N表示使用到的特征描述符种类数量，P_kk表示一个大小为m×n的二维矩阵，其内部每个位置的值[P_kk]_ij为0或1，1表示第一图像中的特征点i与第二图像中的特征点j是一对匹配对，0则表示第一图像中的特征点i与第二图像中的特征点j不是一对匹配对，并且P_kk满足P_kk1_m≤1_n和表示一个特征点在另一幅图最多存在一个匹配点，i＝1,2,..,m,j＝1,2,…,n；

步骤(2)包括：

(2.1)根据图像对下的N个初始特征匹配关系矩阵P_kk，k＝1,...,N，以特征描述符为单位来分块构建多特征交叉匹配块矩阵：其中，Z满足Z＝Z^T；

(2.2)对于其中的子块Z_pq∈R^(m+n)×(m+n)，p,q＝1,2,..,N，当p＝q时，其表示仅使用特征描述符p时的两幅图像间匹配关系矩阵块，有：其中，A_pp∈R^m×m和B_pp∈R^n×n是对角元素由1和0组成的类对角矩阵，A_pp∈R^m×m表示使用特征描述符p时第一图像与第一图像的匹配关系矩阵，B_pp∈R^n×n表示使用特征描述符p时第二图像与第二图像的匹配关系矩阵，P_pp表示特征描述符p的初始特征匹配关系矩阵；

(2.3)对于子块Z_pq∈R^(m+n)×(m+n)，当p≠q时，其表示特征描述符p和q之间两幅图像的匹配关系矩阵块，有：类对角矩阵A_pq∈R^m×m表示使用特征描述符p时第一图像与使用特征描述符q时第一图像的匹配关系矩阵，类对角矩阵B_pq∈R^n×n表示使用特征描述符p时第二图像与使用特征描述符q时第二图像的匹配关系矩阵，P_pq∈R^n×n表示使用特征描述符p时第一图像与使用特征描述符q时第二图像的匹配关系矩阵；

步骤(3)包括：

(3.1)假设存在一个大小为w的虚拟总集S，图像对内所有可匹配特征点都存在于该虚拟总集中，对于特征描述符p，有：表示特征描述符p下的两幅图像与S的匹配关系矩阵，表示特征描述符p下的第一图像与S的匹配关系矩阵，表示特征描述符p下的第二图像与S的匹配关系矩阵；

(3.2)对于Z中的子块Z_pq，存在约束进而Z中也存在类似的闭环约束Z＝XX^T，其中，X∈R^(m+n)N×w是所有特征描述符下的两幅图像与总集S的匹配关系矩阵，按顺序排列，对包含噪声的Z，即的优化通过求解s.t.Z＝XX^T进行，并放松对X的二元约束{0,1}到连续域[0,1]，从而能够通过谱方法得到优化后的Z，即Z⁺。