[发明专利]一种基于两步可切换归一化深度神经网络的图像匹配方法

权利要求书

1.一种基于两步可切换归一化深度神经网络的图像匹配方法，其特征在于：

包括以下步骤：

步骤S1：数据集处理：提供一图像对(I,I')，使用基于黑塞映射的检测子分别从每个图像中提取特征点kp_i,kp′_i；则图像I的信息提取的特征点集为KP＝{kp_i}_i∈N；从图像I′获得特征点集KP′＝{kp′_i}_i∈N；每个对应关系(kp_i,kp′_i)能生成4D数据：

D＝[d₁；d₂；d₃；.......； d_N]，d_i＝[x_i,y_i,x′_i,y′_i]

D表示图像对的匹配组即输入数据，d_i表示匹配对，(x_i,y_i)，(x′_i,y′_i)表示匹配中两个特征点的坐标；

步骤S2：特征增强：使用一个卷积核大小为1×1的卷积层将步骤S1处理后的4D数据映射为一个32维的特征向量，即D_(1×N×4)→D_(1×N×32)，用以减少网络特征学习带来的信息损失；其中，N为一张图片提取的特征点个数；

步骤S3：使用残差网络对增强后的特征即映射后的特征向量进行特征提取，并用两步稀疏可切换归一化代替批归一化，用以更鲁棒的提取增强数据的全局特征，并输出初步预测结果；

步骤S4：在测试阶段，将残差网络的输出设为初步预测结果，并且使用激活函数tanh和relu对初步预测结果进行处理，即，f_x＝relu(tanh(x_out))，得到预测值为0或1，其中，0表示错误匹配，1表示正确匹配的最终结果；在整个网络的训练中，采用交叉熵损失函数来指导网络的学习；如公式所示：

其中，y_i表示第i个匹配的真实值，y'_i表示第i个匹配的预测值；

所述步骤S3具体包括以下内容：

两步稀疏可切换归一化分为两层：第一层为上下文归一化，第二层为可切换归一化；上下文归一化为每个数据镶嵌全局上下文信息，给定输入数据x_i，在第l层，上下文归一化定义如下：

其中，表示上下文归一化的输出结果；u^l和o^l分别代表l网络层数据的平均值和标准差；

上下文归一化将全局信息嵌入到每个特征点数据中；在第二层归一化中使用了微分前馈稀疏学习算法从批归一化、实例归一化和层归一化选择最合适归一化，用以减少固定归一化对最终结果的影响；可切换归一化定义如下：

其中表示第二归一化层的输出结果；λ和β分别代表比例和位移参数；|ψ|表示由三个归一化组成的集合；u_j和分别表示其相应网络层数据的平均值和方差，j＝1,2,3分别表示在三个归一化{LN，BN，IN}的位置索引；r_j和r′_j分别表示其相应网络层数据平均值和方差的比例参数。