[发明专利]大规模实时交通数据的并行处理系统和并行处理方法

权利要求书

1.一种大规模实时交通数据的并行处理系统，其特征在于，包括：

通信服务器组，用于通过网络长连接并行地接收前端监测设备采集的实时交通数据，对接收到的所述实时交通数据进行校验与解析，分拣不同类型实时交通数据并向交通数据发布/订阅器进行转发；

交通数据发布/订阅器，与所述通信服务器组连接，用于按照不同类型的实时交通数据以及不同的分发目的地建立实时交通数据发布/订阅消息队列，接收并缓存由所述通信服务器组转发的所述实时交通数据，向订阅所述实时交通数据的不同的所述分发目的地进行所述实时交通数据的分发。

2.根据权利要求1所述的大规模实时交通数据的并行处理系统，其特征在于，还包括计算机服务集群和历史交通数据存储装置，其中：

所述计算服务器集群与所述交通数据发布/订阅器连接，用于并行执行基于交通数据发布/订阅器的所述实时交通数据及所述历史交通数据存储装置存储的历史交通数据的多个业务计算，每个所述业务计算以多线程并行计算的方式执行；

所述历史交通数据存储装置与所述交通数据发布/订阅器连接，用于接收交通数据发布/订阅器的所述实时交通数据并集中进行持久化存储。

3.根据权利要求1所述的大规模实时交通数据的并行处理系统，其特征在于：

所述通信服务器组包括两台以上具有相同功能的通信服务器，每个所述通信服务器包括：

连接管理器，用于监听所述前端监测设备的连接请求，建立长连接，并且将新建立的长连接分派给不同的数据收发器进行处理；

数据收发器，用于接收所述前端监测设备发送的实时交通数据，检验接收到的所述实时交通数据的正确性，并从不同类型的所述实时交通数据中提取需要参与业务计算和持久化存储的数据，重新组装成交通数据包，转发给所述交通数据发布/订阅器，同时组装应答数据包，发送给所述前端监测设备。

4.根据权利要求2所述的大规模实时交通数据的并行处理系统，其特征在于，所述计算服务器集群包括业务计算管理调度服务器和业务计算服务器，

其中：

所述业务计算管理调度服务器用于管理所述业务计算服务器，接收及加载不同业务计算程序到所述业务计算服务器并记录加载日志，存储业务计算程序文件，监控业务计算程序的执行状态及其所在的并行计算节点的资源消耗情况，捕获计算服务器的故障并加载业务计算程序到其他可用计算服务器，管理集群中计算服务器的加入与退出；

所述业务计算服务器用于接收所述业务计算管理调度服务器用于部署及控制业务计算程序运行状态的控制指令，部署及控制业务计算程序运行，接收来自交通数据发布/订阅器的实时交通数据以及从历史交通数据存储装置读取的历史交通数据，采用多线程并行处理方式运行基于大规模交通数据的业务计算程序，向所述业务计算管理调度服务器汇报业务计算程序的运行状态及所述业务计算服务器的资源占用情况。

5.根据权利要求2所述的大规模实时交通数据的并行处理系统，其特征在于，所述历史交通数据存储装置包括：

存储服务器，包括数据库服务模块和文件服务模块；所述数据库服务模块采用数据库软件分区功能存储所述实时交通数据中的海量结构化交通数据并提供用于结构化交通数据查询与提取的第一应用程序接口；

所述文件服务模块存储所述实时交通数据包含的相关文件数据，并提供用于文件查找的第二应用程序接口；

磁盘阵列，用于持久化存储交通数据。

6.一种大规模实时交通数据的并行处理方法，其特征在于，包括：

通信服务器组通过网络长连接并行地接收前端监测设备采集的实时交通数据，对接收到的所述实时交通数据进行校验与解析，分拣不同类型实时交通数据并向交通数据发布/订阅器进行转发；

交通数据发布/订阅器按照不同类型的实时交通数据以及不同的分发目的地建立实时交通数据发布/订阅消息队列，接收并缓存由所述通信服务器组转发的所述实时交通数据，向订阅所述实时交通数据的不同的所述分发目的地进行所述实时交通数据的分发。