[发明专利]特征匹配方法和装置

权利要求书

1.一种特征匹配方法，包括：

将待进行特征匹配的第一图片输入到预先训练好的第一卷积神经网络CNN，其中，所述第一CNN网络具有与计算机视觉组VGG相似的网络架构；

所述第一CNN识别输入的第一图片的特征点，并在第一图片上对识别出的特征点进行标识，输出带有特征点标识的第一图片；

将待进行特征匹配的第二图片输入到所述第一CNN；

所述第一CNN识别输入的第二图片的特征点，并在第二图片上对识别出的特征点进行标识，输出带有特征点标识的第二图片；

将所述带有特征点标识的第一图片和所述带有特征点标识的第二图片输入到预先训练好的第二CNN，其中，所述第二CNN具有与VGG相似的网络架构，且第二CNN具有与第一CNN相同的卷积核；

所述第二CNN对所述带有特征点标识的第一图片和所述带有特征点标识的第二图片进行特征匹配，获取所述第一图片的特征点和所述第二图片的特征点之间的单应性矩阵，以得到所述第一图片的特征点和所述第二图片的特征点之间的对应关系。

2.根据权利要求1所述的方法，其特征在于，

所述第一CNN识别输入的第一图片的特征点，并在第一图片上对识别出的特征点进行标识，输出带有特征点标识的第一图片，包括：

所述第一CNN按照输入的所述第一图片的几何特征将所述第一图片划分为多个图片区域，将各个图片区域分别输入到卷积通道，使用预定的卷积核做连续卷积，提取所述第一图片的角点作为特征点，再对连续卷积后的数据进行归一化处理和非线性激活，然后再对归一化处理和非线性激活之后的数据做卷积全连接，再对全连接的结果作反卷积，得到带有特征点标识的第一图片输出；

所述第一CNN识别输入的第二图片的特征点，并在第二图片上对识别出的特征点进行标识，输出带有特征点标识的第二图片，包括：

所述第一CNN网络按照输入的所述第二图片的几何特征将所述第二图片划分为多个图片区域，将各个图片区域分别输入到卷积通道做连续卷积，提取所述第二图片的特征点，再对连续卷积后的数据进行归一化处理和非线性激活，然后再对归一化处理和非线性激活之后的数据做卷积全连接，再对全连接的结果作反卷积，得到带有特征点标识的第二图片输出。

3.根据权利要求1或2所述的方法，其特征在于，所述第二CNN对所述特征点标识的第一图片和所述带有特征点标识的第二图片进行特征匹配，获取所述第一图片的特征点和所述第二图片的特征点之间的单应性矩阵，包括：

所述第二CNN网络分别对输入的所述第一图片和所述第二图片进行卷积，得到两个第一预定大小的张量；

将两个所述张量关联，得到一个第二预定大小的张量；

将所述第二预定大小的张量划分为多个区域，将各个区域分别输入到卷积通道做连续卷积，其中，在进行连续卷积时，在卷积层后的池化层选用最大池化对每个卷积层输出的数据进行池化；

对连续卷积后输出的数据进行归一化处理和非线性激活，然后输入到两个全连接层生成所述第一图片的特征点和所述第二图片的特征点之间的单应性矩阵，并将所述单应性矩阵进行标准化。

4.根据权利要求3所述的方法，其特征在于，在将所述单应性矩阵进行标准化之后，所述方法还包括：

按照以下公式计算特征匹配过程中的损失L：

其中，N为所述第二预定大小的张量中所述第一图片的特征点个数，x_n为所述第二预定大小的张量中所述第一图片的第n个特征点的特征数据，H为所述单应性矩阵，x′_n为所述第二预定大小的张量中所述第二图片的第n个特征点的特征数据；

根据所述损失L反向传输优化所述单应性矩阵。

5.根据权利要求1-4中任一项所述的方法，其特征在于，在将待进行特征匹配的第一图片输入到训练好的第一卷积神经网络CNN之前，所述方法还包括：

选用与VGG相似的架构构建所述第一CNN和所述第二CNN；

对所述第一CNN和所述第二CNN进行训练，使得所述第一CNN能检测出输入的图片中稳定的特征点，将输入的图片映射到一个同等分辨率但带有特征点标识的图片输出，所述第二CNN能对输入的一对带有特征点标识的图片进行特征匹配，生成该对图片之间的单应性矩阵。