[发明专利]基于多模数据融合的智能铁路巡检方法及系统

说明书

本发明提供了一种基于多模数据融合的智能铁路巡检方法与系统WALLET(rallWAyinteLLigentinspEctionmethodandsysTem)，包括以下步骤：步骤一：对巡检场景多模态数据进行融合表达；步骤二：通过多模态对象特征提取、描述，准确刻画隐藏于多模态数据中铁路设备自身特征，实现多模数据分析；步骤三：构建由智能巡检仪、巡检边缘服务器和巡检分析平台组成的端边云融合架构，实现动态传算；步骤四：面向智能铁路巡检应用，动态构建分布式数据流图，实现基于数据流的并行加速。

技术领域

本发明涉及一种基于多模数据融合的智能铁路巡检方法与系统WALLET (rallWAyinteLLigentinspEctionmethodandsysTem)，涉及大数据处理、机器学习、云 计算等领域。

背景技术

铁路巡检是行车安全的重要保障。我国铁路里程和运输任务的快速发展，对铁路巡 检系统提出了更高的技术需求。为了维护列车的运行安全，巡道工必须有规律地巡查路轨(铁路路基、路轨、道岔、信号灯、铁路桥梁、铁路沿线的设施、通讯线路的巡查)及 机车状态，及时发现并排除沿途隐患。

现有铁路巡检方案主要采用人防和物防，前者主要依靠人工，包括送车前的线路检 查、取车的车辆检查；货运列车的装载检查。各作业岗点的巡视检查、各工种的交接班均是通过电台汇报、首尾车辆涂打标记、记录签认、对口交接等人工方式实现，增加了 铁路运营商实时决策的难度。同时，人防依赖巡检者的专家经验，巡检成本高且范围有 限；后者通过定点安装的摄像装置与传感器收集信息，监测对象单一，范围有限，环境 适应能力差，漏报误报率高。近年来，陆续提出通过智能分析进行铁路安全技防的概念， 但相关技术离实际需求还相关甚远。总之，现有的方案普遍存在针对特定数据、分析精 度低、难以自动化、时效性低等问题。

经对现有技术文献的检索发现，JIN X等(JIN X,WANG Y,ZHANG H,et al.DM-RIS:Deep Mult imodel Rail Inspection System With Improved MRF-GMM and CNN.IEEETRANSACTIONS ON INSTRUMENTATION AND MEASUREMENT,2020,69(41):1051-1065.) 面向表面缺陷建立了一个深层多模态模型，提出了一种快速且鲁棒的空间约束高斯 混合模型用于分割建议，并使用Faster RCNN进行了并行结构中的目标定位。但是 该方法不能够实现有效的多模态特征提取，形成稀疏表征。赵阳(赵阳.基于文本 挖掘的高铁信号系统车载设备故障诊断.北京交通大学,2015.)采用主题模型对 故障文本数据进行分析，得到文本在主题空间中的表达，以此来进行降维和特征提 取；在此基础上，针对车载设备故障诊断的不确定性，采用贝叶斯网络作为故障诊 断方法，充分结合现场数据和领域知识，提出了一种适用于车载设备的贝叶斯结构 学习算法，但是该方法对于文本数据有高度依赖性，无法应用于铁路巡检中的多模 数据。李军等(李军,钟志农等。异构MAS结构下的空天资源多阶段协同任务规 划方法。航空学报，2013,34(7):1682-1697)分析了资源协同规划中的资源异构 性，提出了多阶段监测任务分解方法；并综合资源状况和任务依赖关系，建立了异构多智能体系统(MAS)多阶段协同任务规划模型，构建了协同任务规划服务平台， 充分利用了异构资源的互补优势。但该方法局限于周期性的卫星系统，难以直接应 用于复杂铁路巡检系统。Suettlerlein等(Suettlerlein J,Zuckerman S,Gao G R.An implementationof the codelet model.European Conference on Parallel Processing.Springer,Berlin,Heidelberg,2013:633-644)提出了基于数据 流的Codelet模型，用于在异构计算资源上实现数据驱动的任务并行调度。但是该 方法没有考虑边云协同巡检系统架构，难以充分发挥异构资源的优势。

发明内容