[发明专利]基于分布式架构的列车信号系统车载日志分析系统和方法

权利要求书

1.基于分布式架构的列车信号系统车载日志分析系统，其特征在于：包括数据采集模块、数据解析模块、数据入库模块、数据清洗模块、数据统计分析模块以及分布式数据库；

所述数据采集模块和数据解析模块是基于Kafka+Zookeeper架构的消息中间件，用于对列车信号系统的车载日志数据的采集与解析；

所述数据入库模块是基于GPSS（Greenplum Stream Server）+Kafka+gpfdist架构，用于对数据解析模块解析后的车载日志数据录入到分布式数据库中，形成原始日志表；

所述数据清洗模块用于处理入库后的原始日志表，按照数据解析模块对车载日志数据解析时的字段合并规则对合并后的大字段依序拆分成日志数据中原有字段进行字段拆分，并将字段对应的二进制数值转换为其对应的十进制或布尔类型数据完成数值转化；

所述数据统计分析模块是基于列车特定运营事件而进行聚合统计，计算得到对应的列车关键运维指标，最终存储到分布式数据库中；数据统计分析模块用于对清洗后的日志数据进行统计分析，得到需要的运维指标，将统计结果存放到分布式数据库中；

所述分布式数据库为基于Greenplum的分布式集群，为所述数据采集模块、数据解析模块、数据入库模块、数据清洗模块、数据统计分析模块提供分布式数据存储与计算平台，包括管理节点、计算节点和备用节点。

2.如权利要求1所述的基于分布式架构的列车信号系统车载日志分析系统，其特征在于：所述数据解析模块，在车载日志数据解析时将数据采集模块采集到的数据中连续并属于同一系统模块的字段进行分类，将同一类别所有字段按序合并为1个大字段，相应的数据也被合并成一个数据块。

3.如权利要求1所述的基于分布式架构的列车信号系统车载日志分析系统，其特征在于：所述列车特定运营事件包括进站停车、紧急制动（EB）、信标丢失、车地无线通信故障。

4.如权利要求1或3所述的基于分布式架构的列车信号系统车载日志分析系统，其特征在于：所述列车的关键运维指标包括列车停站时间、列车超标停站次数与平均时长、列车停车精度与超标停车次数、紧急制动（EB）次数及原因、信标丢失次数、车地无线通信故障次数。

5.如权利要求1所述的基于分布式架构的列车信号系统车载日志分析系统，其特征在于：所述分布式数据库的三种节点上均创建有用于存放车载日志数据的文件夹；所述管理节点上部署有用于存储采集与解析记录的MySQL数据库，所述MySQL数据库启动后在系统中部署数据采集与解析服务，当检测到线网服务器中有车载日志数据上传，则启动FTP进行下载。

6.如权利要求5所述的基于分布式架构的列车信号系统车载日志分析系统，其特征在于：所述管理节点负责SQL解析并形成分布式任务并收集计算结果，同时管理其他节点；所述计算节点和备用节点负责存储车载日志数据和执行分布式任务；车载日志数据的存储策略采用在分布式数据库中随机分布的方式。

7.如权利要求1、5或6所述的基于分布式架构的列车信号系统车载日志分析系统，其特征在于：每个节点配置为2颗8核CPU、32GB内存以及20块SAS硬盘，每个节点间采用千兆网络连接，且每个节点上部署2个主实例和2个镜像实例，各节点之间进行交叉镜像配置。