[发明专利]一种面向物流大数据的处理系统及方法

权利要求书

1.一种面向物流大数据的处理系统，其特征在于包括：

数据采集模块：用于通过数据聚合层采集物流系统与设备的物流数据进行数据聚合；

数据通信模块，提供物流数据的发布/订阅所需的消息中间件；

数据存储模块，包括分布式非关系型数据库、分布式关系数据库和分布式文件系统；分布式关系型数据库用于持久化结构化数据；分布式非关系型数据库用于持久化半结构化和非结构化数据；分布式文件系统能持久化历史数据与日志文件；

数据处理模块，由实时计算集群和离线计算集群组成，负责对数据进行计算处理；通过数据通信模块获取需要计算的物流数据流进行实时数据流处理，或通过数据存储模块获取物流数据进行离线大数据处理；

可视化管理模块，包括数据监测单元、任务控制单元和数据查询单元；通过该模块，系统管理员能对处理系统的资源使用情况、计算处理过程与结果、任务运行情况进行查看、监测与管理；所述数据采集模块包括Flume、物流系统、手机应用、车载传感器；其中Flume是分布式的海量日志采集、聚合和传输的系统，在处理系统中充当物流数据聚合的作用；物流系统、手机应用、车载传感器实时产生大量物流数据，通过Flume按照规定的方式进行数据聚合，形成物流数据流并发布到Kafka供处理系统进行订阅消费；所述数据通信模块包括Kafka消息中间件；处理系统中的组成部分要与Kafka进行通信需要接入Kafka API并在通信过程中充当数据生产者或消费者；

面向物流大数据的处理系统的处理过程包括以步骤：

1)Flume将采集到的物流数据进行聚合，发送到Kafka消息中间件；外部源以Flume源识别的格式向Flume发送事件；当Flume源接收到一个事件时，它将其存储到一个或多个通道；该通道是一个被动存储，保持事件，直到它被Flume sink消耗；Kafka拥有一个主题的概念，每一个主题是一些被预定义好的记录的分类；每个主题都可以拥有多个分区来进行维护，使系统稳定；Kafka集群需要依赖Zookeeper集群进行分布式应用程序协调；

2)实时计算部分：Samza集群订阅Kafka数据流进行实时数据流处理，处理内容包括实时应用任务与持久化物流数据两部分，处理时需求的资源来自Hbase数据库、MySQL数据库或其他系统，所述其他系统包括GIS系统；离线计算部分：MapReduce集群能通过访问MySQL数据库、Hbase数据库、HDFS文件系统或其他系统获取数据进行离线大数据处理；Samza是一个分布式流处理框架；Samza使用Kafka进行消息传递；Hadoop YARN提供容错、处理器隔离、安全性和资源管理；Samza处理数据流时，会分别按次处理每条收到的消息；Samza的执行与数据流模块都是可插拔式的；

3)Samza集群与MapReduce集群在计算过程中将过程数据与计算结果存储于数据库中；Samza集群中的任务将计算结果以流的形式返回Kafka供其他任务、应用或系统订阅消费；

4)管理员能从可视化管理模块查看资源使用情况、任务运行情况、计算处理过程与结果并进行监测与管理。

2.根据权利要求1所述的一种面向物流大数据的处理系统，其特征在于：所述数据存储模块所使用的关系型数据库为MySQL，MySQL负责对订单数据、车辆数据、GPS数据的结构化的物流数据进行持久化，为实时和离线计算集群提供数据资源访问支持；所使用的非关系型数据库为Hbase，Hbase负责持久化电子回单和提供实时计算集群需要的数据资源的访问支持；所使用的分布式文件系统为HDFS，HDFS负责持久化历史数据与日志文件，为离线计算集群提供数据资源的访问支持。

3.根据权利要求1所述的一种面向物流大数据的处理系统，其特征在于：所述数据处理模块用于实时与离线大数据处理，其中实时数据流处理部分采用Samza进行分布式实时计算，包括对物流订单数据进行计数、对实时产生的订单进行车辆匹配、对车辆进行实时的货运路径规划；离线大数据处理部分采用MapReduce方法对批量订单进行车辆匹配、对未来订单产生量进行预测分析、依据车辆轨迹进行网点规划。