[发明专利]基于图像对齐与检测网络模型的轨道塞钉故障检测方法与系统

摘要

本发明属于计算机故障检测技术领域，具体为一种基于图像对齐与检测网络模型的轨道塞钉故障检测方法与系统。本发明中，由铁轨巡检车记录正常的塞钉图像作为基准图像；工作人员在例行的铁轨巡检过程中，利用巡检车拍摄最新的铁轨状况，得到铁轨状况图像作为待检测图像，对当前待检测图像和基准图像进行对比分析处理，检测出铁轨中问题塞钉部件位置，从而进行及时更换问题塞钉，确保铁轨运行的安全；具体步骤包括：基于深度网络模型与显著区域的高铁轨道图像精确对齐，基于深度网络模型与环境变化补偿的轨道塞钉的故障检测。本发明基于深度网络模型进行图像对齐与环境变化补偿，具有更精确的识别性能与可靠性。

主权项

轨道塞钉故障检测方法，由铁轨巡检车记录正常的塞钉图像作为基准图像；工作人员之后在例行的铁轨巡检过程中，利用巡检车拍摄最新的铁轨状况，得到铁轨状况图像作为待检测图像，对当前待检测图像和基准图像进行对比分析处理，检测出铁轨中问题塞钉部件位置，从而进行及时更换问题塞钉，确保铁轨运行的安全；其特征在于，具体步骤如下：（1）基于深度网络模型与显著区域的高铁轨道图像精确对齐高铁轨道图像精确对齐采用特定的网络模型，该网络模型包括：物体分割网络、图像对齐网络，对基准图像与待检测图像进行的关键点提取与位移偏差估计，实现快速、准确的轨道图像对齐；其中：物体分割网络主要由全卷积层结构的深度网络组成，并针对铁路轨道、枕木与道岔外排锁等显著物体的分割任务进行训练；经过物体分割网络后，得到图像中铁路轨道、枕木与道岔外排锁等显著物体的大致信息；分割网络的输出为每一个像素的类别，即：其中，为第i行第j列对第k类物体的预测概率，K是预测类别的个数；得到的物体分割区域作为原始图像的权重，对网络中间卷积层的图像特征图进行加权，其中显著物体区域的权重接近1，非显著物体区域的权重接近0，从而达到噪声过滤的作用；最后特征加权的表征形式为：其中，是第i行第j列是否为物体的权重，是原始的特征值，是加权后的特征值；带有权重的参考图像与待对齐图像的特征分别输入后续的图像对齐网络，得到图像对齐参数；该图像对齐网络主要由若干卷积层和全连接层组成，最后输出四个变量，分别用入拟合水平位移量∆x、垂直位移量∆y、水平拉伸系数γw和垂直拉伸系数γh,根据这些系数矫正输入图像就能得到对齐后的检测图像；对齐的操作用在数学上表示为：式中，是对齐前的坐标，是对齐后的坐标；（2）基于深度网络模型与环境变化补偿的轨道塞钉的故障检测轨道塞钉的故障检测是通过深度网络模型提取塞钉特征，并在网络模型的中间层中融入环境补偿信息，以减少天气、光照等环境因素的影响，提高对故障塞钉判定的准确性；所述深度网络模型包括：物体检测网络、环境补偿网络、连接函数；其中：参考图像与对齐后的待检测图像首先送入物体检测网络；物体检测网络采用基于深度学习的带有Region Proposal Network的物体检测网络对输入图像进行目标检测，输出物体的位置：横轴、纵轴坐标、宽度、高度，以及特征表达z；同时，将整个参考图像与对齐后的待检测图像输入到环境补偿网络，得到环境变化补偿特征，用以减少由于不同时间拍摄到的铁轨照片受环境变化的影响；该环境补偿网络采用带有多个卷积层的网络结构，系统先将参考图像与对齐后的检测图像相减，得到的残差输入到带有多个卷积层的网络结构，得到描述整体照片变化的深层特征描述，该特征将累加到待检测的塞钉物体特征作为环境变化的补偿量；参考图像中的塞钉物体特征与经过环境变化补偿的待检测图像中的塞钉物体特征被输入到最后的类似于双胞胎网络中的连接函数进行比较；连接函数采用欧式距离函数；如果两者的差异大于一定的阈值，则认为待检测的塞钉存在故障，系统发出警报信息；故障检测过程中的物体检测网络、环境补偿网络、连接函数在模型训练时作为一整体进行最优参数学习，训练中使用的contrastive损失函数，它的数学形式是：其中，E是最终的损失函数值，y=1代表两组对比的部件图像都属于正常部件，y=0代表输入的代检测部件存在故障；N是输入样本的个数，是两组预测值的差异度，an、bn分别是参考样本和待检样本的网络输出向量；margin是预设的常数阈值。