[发明专利]一种面向物流大数据的处理系统及方法

摘要

本发明公开了一种面向物流大数据的处理系统及方法，涉及物流数据处理技术领域。物流产生的数据量庞大，包含结构化、半结构化和非结构化数据，并且实时不断产生，迫切需要高效、稳定的大数据处理方法对数据进行处理。一种面向物流大数据的处理方法，其特征在于提供一个大数据处理平台对物流大数据进行处理，包括：数据采集模块、数据通信模块、数据存储模块、数据处理模块和可视化管理模块。本技术方案针对物流大数据的实时性、多种数据结构类型的特性进行设计，通过实时数据流处理技术对实时数据进行计算处理，通过多种数据持久化方案对结构化、半结构化和非结构化数据进行持久化。

主权项

1.一种面向物流大数据的处理系统，其特征在于包括：数据采集模块：用于通过数据聚合层采集物流系统与设备的物流数据进行数据聚合；数据通信模块，提供物流数据的发布/订阅所需的消息中间件；数据存储模块，包括分布式非关系型数据库、分布式关系数据库和分布式文件系统；分布式关系型数据库用于持久化结构化数据；分布式非关系型数据库用于持久化半结构化和非结构化数据；分布式文件系统能持久化历史数据与日志文件；数据处理模块，由实时计算集群和离线计算集群组成，负责对数据进行计算处理；通过数据通信模块获取需要计算的物流数据流进行实时数据流处理，或通过数据存储模块获取物流数据进行离线大数据处理；可视化管理模块，包括数据监测单元、任务控制单元和数据查询单元；通过该模块，系统管理员能对处理系统的资源使用情况、计算处理过程与结果、任务运行情况进行查看、监测与管理。