[发明专利]具有跳层结构的特征提取网络及特征和描述子生成的方法

权利要求书

1.一种具有跳层结构的特征提取网络，其特征在于：主体结构为VGG16的conv1_1层至conv4_3层的部分，移除了全连接层；将conv3_3层与conv4_3层的输出特征图进行双线性插值，上采样为conv2_2的输出特征图的分辨率，之后对conv2_2层与上采样后的特征图进行张量拼接，使得主体结构的conv2_2层、conv3_3层与conv4_3层的输出特征图进行融合；再进行张量拼接得到具有896个通道的特征图，对特征图进行1×1卷积将其变为512通道的特征图F。

2.一种采用权利要求1所述具有跳层结构的特征提取网络进行图像特征点检测和描述子生成的方法，其特征在于步骤如下：

步骤1：选择可见光开源数据集进行标注，对数据集中的每一张图像都使用随机单应性变化和颜色抖动进行处理，经过处理生成的图像和原来的图像形成图像对，图像对之间的像素通过单应性矩阵联系在一起；将标注好的数据集作为训练集，同时选择带有标注的数据集作为验证集；

步骤2：使用具有跳层结构的特征提取网络F对训练集中的图像进行特征提取，得到512维的特征图F＝F(I)，

步骤3：对512维的特征图进行描述子提取，每个通道向量看作其位置的稠密描述，之后对其进行L2正则化得到图像的稠密描述子

d_ij＝F_ij:

其中i＝1,…,h,j＝1,…,w，d_ij为图像的稠密描述向量，F为512维的特征图；

步骤4：采用软特征点检测器进行特征点的通道得分和独特性得分检测,最后将检测到的通道得分c_ij和独特性得分u_ij相乘得到软特征检测器在像素(i,j)得分s_ij＝c_iju_ij；

其中：

稠密描述子的独特性得分为：

其中i＝1,…,h,j＝1,…,w，为图像的稠密描述子，u_ij为图像的稠密描述子的独特性得分，U是u_ij的集合；

描述子的通道得分为：

其中i＝1,…,h，j＝1,…,w，t＝1,…,n，为描述子在通道为t时的值；

步骤5：以损失函数对软特征点检测得分进行损失计算，之后将损失反向传播训练步骤2中的具有跳层结构的特征提取网络：

其中I₁,I₂输入网络的RGB图像对，C为图像对I₁,I₂之间的像数对应，分别为图像对I₁,I₂中的特征点的总得分，m(c)为三重排名损失；

步骤6：以步骤5训练好的具有跳层结构的特征提取网络对验证集进行特征图提取，当采用硬特征检测器在提取到的512维的特征图中选择通道最大并且比其他75％像素都要独特的像素作为特征点，得到测试图像的特征点和描述子。