[发明专利]铁路电务专业数据可视化方法及系统

权利要求书

1.一种铁路电务专业数据可视化方法，其特征在于，包括：

接收数据源上传的数据，并将所述数据存储至第一Kafka消息队列中；

通过Flink流处理服务对所述第一Kafka消息队列的数据进行完整性校验，确定校验无误的数据中的实时数据，将所述实时数据转换为预设格式后发送至第二Kafka消息队列；

从所述第二Kafka消息队列中获取目标数据，将取得的目标数据返回前端进行可视化处理；

所述对所述第一Kafka消息队列的数据进行完整性校验，之后还包括：

确定校验无误的数据中的非实时数据，将所述实时数据发送至时序数据库进行存储，将所述非实时数据发送至关系型数据库进行存储；

从所述时序数据库或关系型数据库中获取目标数据，将取得的目标数据返回前端进行可视化处理；

或者，

从校验无误的数据中获取用于数据分析的数据，发送至HIVE数据仓库进行数据分析，之后将数据分析结果存入所述关系型数据库。

2.根据权利要求1所述的铁路电务专业数据可视化方法，其特征在于，所述接收数据源上传的数据，具体为：数据源以第一周期定时上传数据；

所述从所述第二Kafka消息队列中获取目标数据，具体为：从所述第二Kafka消息队列中以第二周期定时获取数据；

其中，所述第一周期的时长大于所述第二周期的时长。

3.根据权利要求1或2所述的铁路电务专业数据可视化方法，其特征在于，所述从所述第二Kafka消息队列中获取目标数据，将取得的目标数据返回前端进行可视化处理，具体为：

调用预设的第一类RESTful接口，周期性发送数据提取请求，从所述第二Kafka消息队列中取得目标数据，并通过第一类RESTful接口将目标数据以预设格式返回前端进行可视化处理。

4.根据权利要求1所述的铁路电务专业数据可视化方法，其特征在于，所述接收数据源上传的数据，具体为：

所述数据源将支持Kafka方式的实时数据直接送入所述第一Kafka消息队列；

向数据源提供Socket接口，以使得数据源将不支持Kafka方式的实时数据通过Socket上传至第一Kafka消息队列；以及

通过FTP/SFTP服务接收数据源发送的非实时数据，并上传至第一Kafka消息队列。

5.根据权利要求1所述的铁路电务专业数据可视化方法，其特征在于，所述完整性校验包括：检查字段是否完整、类型是否一致、标识是否唯一。

6.一种铁路电务专业数据可视化系统，其特征在于，包括：

数据采集模块，用于接收数据源上传的数据，并将所述数据存储至第一Kafka消息队列中；

数据处理模块，用于通过Flink流处理服务对所述第一Kafka消息队列的数据进行完整性校验，确定校验无误的数据中的实时数据，将所述实时数据转换为预设格式后发送至第二Kafka消息队列；

数据可视化模块，用于从所述第二Kafka消息队列中获取目标数据，将取得的目标数据返回前端进行可视化处理；

所述对所述第一Kafka消息队列的数据进行完整性校验，之后还包括：

确定校验无误的数据中的非实时数据，将所述实时数据发送至时序数据库进行存储，将所述非实时数据发送至关系型数据库进行存储；

从所述时序数据库或关系型数据库中获取目标数据，将取得的目标数据返回前端进行可视化处理；

或者，

从校验无误的数据中获取用于数据分析的数据，发送至HIVE数据仓库进行数据分析，之后将数据分析结果存入所述关系型数据库。

7.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5任一项所述铁路电务专业数据可视化方法的步骤。

8.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至5中任意一项所述的铁路电务专业数据可视化方法。