[发明专利]基于分布式架构的列车信号系统车载日志分析系统和方法有效
申请号: | 201911076714.X | 申请日: | 2019-11-06 |
公开(公告)号: | CN110825801B | 公开(公告)日: | 2023-03-10 |
发明(设计)人: | 谢飞;魏盛昕;程浩;李立;张奕男;朱存仁;付朗;杨辉 | 申请(专利权)人: | 卡斯柯信号(成都)有限公司 |
主分类号: | G06F16/25 | 分类号: | G06F16/25;G06F16/27;G06F16/28 |
代理公司: | 成都天嘉专利事务所(普通合伙) 51211 | 代理人: | 康拯通 |
地址: | 610036 四川省成都市金牛高新技*** | 国省代码: | 四川;51 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 分布式 架构 列车 信号系统 车载 日志 分析 系统 方法 | ||
1.基于分布式架构的列车信号系统车载日志分析系统,其特征在于:包括数据采集模块、数据解析模块、数据入库模块、数据清洗模块、数据统计分析模块以及分布式数据库;
所述数据采集模块和数据解析模块是基于Kafka+Zookeeper架构的消息中间件,用于对列车信号系统的车载日志数据的采集与解析;
所述数据入库模块是基于GPSS(Greenplum Stream Server)+Kafka+gpfdist架构,用于对数据解析模块解析后的车载日志数据录入到分布式数据库中,形成原始日志表;
所述数据清洗模块用于处理入库后的原始日志表,按照数据解析模块对车载日志数据解析时的字段合并规则对合并后的大字段依序拆分成日志数据中原有字段进行字段拆分,并将字段对应的二进制数值转换为其对应的十进制或布尔类型数据完成数值转化;
所述数据统计分析模块是基于列车特定运营事件而进行聚合统计,计算得到对应的列车关键运维指标,最终存储到分布式数据库中;数据统计分析模块用于对清洗后的日志数据进行统计分析,得到需要的运维指标,将统计结果存放到分布式数据库中;
所述分布式数据库为基于Greenplum的分布式集群,为所述数据采集模块、数据解析模块、数据入库模块、数据清洗模块、数据统计分析模块提供分布式数据存储与计算平台,包括管理节点、计算节点和备用节点。
2.如权利要求1所述的基于分布式架构的列车信号系统车载日志分析系统,其特征在于:所述数据解析模块,在车载日志数据解析时将数据采集模块采集到的数据中连续并属于同一系统模块的字段进行分类,将同一类别所有字段按序合并为1个大字段,相应的数据也被合并成一个数据块。
3.如权利要求1所述的基于分布式架构的列车信号系统车载日志分析系统,其特征在于:所述列车特定运营事件包括进站停车、紧急制动(EB)、信标丢失、车地无线通信故障。
4.如权利要求1或3所述的基于分布式架构的列车信号系统车载日志分析系统,其特征在于:所述列车的关键运维指标包括列车停站时间、列车超标停站次数与平均时长、列车停车精度与超标停车次数、紧急制动(EB)次数及原因、信标丢失次数、车地无线通信故障次数。
5.如权利要求1所述的基于分布式架构的列车信号系统车载日志分析系统,其特征在于:所述分布式数据库的三种节点上均创建有用于存放车载日志数据的文件夹;所述管理节点上部署有用于存储采集与解析记录的MySQL数据库,所述MySQL数据库启动后在系统中部署数据采集与解析服务,当检测到线网服务器中有车载日志数据上传,则启动FTP进行下载。
6.如权利要求5所述的基于分布式架构的列车信号系统车载日志分析系统,其特征在于:所述管理节点负责SQL解析并形成分布式任务并收集计算结果,同时管理其他节点;所述计算节点和备用节点负责存储车载日志数据和执行分布式任务;车载日志数据的存储策略采用在分布式数据库中随机分布的方式。
7.如权利要求1、5或6所述的基于分布式架构的列车信号系统车载日志分析系统,其特征在于:每个节点配置为2颗8核CPU、32GB内存以及20块SAS硬盘,每个节点间采用千兆网络连接,且每个节点上部署2个主实例和2个镜像实例,各节点之间进行交叉镜像配置。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于卡斯柯信号(成都)有限公司,未经卡斯柯信号(成都)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911076714.X/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种车灯环形发光部件
- 下一篇:一种低压交流伺服驱动器热管散热装置