[发明专利]一种基于异源图像融合的高铁扣件缺陷识别方法

权利要求书

1.一种基于异源图像融合的高铁扣件缺陷识别方法，其特征在于，包括以下几个步骤：

S1、同步动态采集高铁扣件区域的二维灰度图像G(x,y)和轨道的二维深度图像D(x,y)；

S2、对二维灰度图像G(x,y)和二维深度图像D(x,y)配准，使二维灰度图像G(x,y)和二维深度图像D(x,y)准确对应场景中相同位置；

S3、对配准后的扣件区域的二维灰度图像G(x,y)和二维深度图像D(x,y)分别进行特征提取，包括以下步骤：

将扣件区域的二维灰度图像G(x,y)和二维深度图像D(x,y)分别作为深度卷积神经网络的输入，利用Alexnet网络分别提取二维灰度图像G(x,y)和二维深度图像D(x,y)的高级特征，二维灰度图像G(x,y)和二维深度图像D(x,y)分别经过5层卷积和2个全连接层的深度卷积神经网络，输出二维灰度图像G(x,y)的特征集X₁＝[x₁,x₂,…,x_n]和二维深度图像D(x,y)的特征集Y₁＝[y₁,y₂,…,y_n]，其中n表示点的数量；

S4、基于度量学习对二维灰度图像G(x,y)和二维深度图像提取的特征分别进行特征映射，并将映射后的特征进行融合，包括以下步骤：

S41、利用度量学习对S3所述提取的二维灰度图像G(x,y)特征集X₁和二维深度图像D(x,y)的特征集Y₁分别进行特征映射，映射后的特征分别表示为F₁＝M₁X₁，F₂＝M₂Y₁；

其中，M₁和M₂分别为二维灰度图像G(x,y)和二维深度图像D(x,y)的度量矩阵，F₁和F₂分别为二维灰度图像G(x,y)和二维深度图像D(x,y)映射后的特征向量；

S42、为了求解M₁和M₂,定义损失函数Ψ如式(4)：

其中，

M₁和M₂表示为M_k(k＝1,2)，是一个正定矩阵，ω₁和ω₂表示为ω_k(k＝1,2)，ω_k是一个非负的加权参数，λ是显著项和相关项约束之间的权重；D₁(M₁)和是D₂(M₂)分别是二维灰度图像G(x,y)和二维深度图像D(x,y)的显著项,C(M₁,M₂)表示模态间相关项；h是hinge损失函数，h(x)＝max(0,x)，z_ij满足式(8)及式(9)

其中，x_i,x_j为特征集X₁中的特征点，y_i,y_j为特征集Y₁中的特征点，若x_i,x_j或者y_i,y_j来自相同主题，则z_ij＝1，表示正常扣件，否则z_ij＝-1，表示非正常扣件；u₁，τ₁，u₂，τ₂分别为根据经验设定的阈值参数；

S43、由于式(4)无封闭解，对式(4)做松弛，求解M_k和ω_k；

S44、通过样本训练对Alexnet网络进行更新，根据S43步骤获得的度量矩阵M₁和M₂，分别对二维灰度图像G(x,y)和二维深度图像D(x,y)的特征向量进行映射，映射后的特征集分别表示为F₁＝M₁X₁，F₂＝M₂Y₁，再将映射的特征进行融合，形成融合特征F＝[F₁,F₂]；

S5、将融合后的特征输入SVM分类器，实现对扣件的分类。