[发明专利]一种基于BSP模型的实时图数据处理系统及方法

权利要求书

1.一种基于BSP模型的实时图数据处理系统，其特征在于，包括相互通信的数据存储单元(1)、图数据查询统计单元(2)和图数据分析处理单元(3)：

数据存储单元(1)，其用于对图数据进行预处理，并将预处理后的图数据按“内存存储—分布式内存存储—分布式文件系统”的三层存储结构进行存储，并基于图数据生成作业；

图数据查询统计单元(2)，其用于对所述数据存储单元(1)的图数据进行查询和统计，将所述数据存储单元(1)生成的作业分解为多个任务，并将分解的任务以均衡的方式分发给相应计算节点，再统计每个任务的计算结果，并合并所有任务的计算结果作为最终结果返回给用户；

图数据分析处理单元(3)，其用于使各计算节点通过迭代计算执行所述图数据查询统计单元(2)分解出的任务，并通过消息传递实现每次迭代计算的同步，并输出任务的计算结果至所述图数据查询统计单元(2)；

所述图数据分析处理单元还包括消息传递同步机制，其用于通过消息传递实现每次迭代计算的同步。

2.根据权利要求1所述的实时图数据处理系统，其特征在于，所述数据存储单元(1)包括预处理模块(11)、导入模块(12)和存储模块(13)；

所述预处理模块(11)，其连接所述导入模块(12)，用于遍历源数据，并对源数据中的点边关系进行处理，并将处理后的源数据传输给所述导入模块(12)；

所述导入模块(12)，其连接所述存储模块(13)，用于将源数据转化为简单图与超图相结合的图数据格式，并存入所述存储模块(13)中；

所述存储模块(13)，其用于按“内存存储—分布式内存存储—分布式文件系统”的三层存储结构存储图数据，并将图数据生成作业传输给所述图数据查询统计单元。

3.根据权利要求1所述的实时图数据处理系统，其特征在于，所述图数据查询统计单元(2)包括作业分解模块(21)和作业合并模块(22)；

所述作业分解模块(21)，其用于将所述数据存储单元生成的作业分解为多个任务，并将分解的任务以均衡的方式分发给相应计算节点执行，实现每个计算节点上的负载均衡；

所述作业合并模块(22)，其用于统计每个任务的计算结果，并合并所有任务的计算结果作为最终结果。

4.根据权利要求1所述的实时图数据处理系统，其特征在于，所述图数据分析处理单元(3)包括计算模块(31)、通讯模块(32)和输出模块(33)；

所述计算模块(31)，其连接所述通讯模块(32)，用于通过迭代算法计算各节点范畴内的图数据，并通过消息传递实现每次迭代计算的同步，再将计算结果传输给该节点对应的通讯模块(32)；

所述通讯模块(32)，其连接所述计算模块(31)，用于将计算结果传送给其余节点的计算模块(31)重新进行计算；

所述输出模块(33)，其连接所述计算模块(31)，用于输出最终的计算结果。

5.一种基于BSP模型的实时图数据处理方法，其特征在于，包括：

步骤1，预处理图数据，并将预处理后的图数据按“内存存储—分布式内存存储—分布式文件系统”的三层存储结构进行存储，再基于图数据生成作业；

步骤2，查询和统计存储的图数据，将生成的作业分解为多个任务，并将分解的任务以均衡的方式分发给相应计算节点进行计算；

步骤3，各计算节点通过迭代计算执行分解出的任务，并通过消息传递实现每次迭代计算的同步，并输出每个任务的计算结果；

所述步骤3中通过消息传递实现每次迭代计算的同步具体包括：

步骤3B1，在生成图数据时，记录图数据的点边联系，作为控制消息，并基于控制消息生成任务拓扑结构；

步骤3B2，任务源向任务终点发送控制消息，任务终点对控制消息进行匹配；

步骤3B3，根据任务终点对控制消息的匹配结果，任务源向相应的任务终点发送数据消息；

步骤3B4，控制消息和数据消息接收完全后，进入下一个迭代过程；

步骤3B5，根据上次迭代中终结的顶点，提取出与这些顶点连接的其他任务的顶点，并用上次迭代的控制消息减去这些顶点，形成新的控制消息；

步骤3B6，根据新的控制消息，重复步骤3B2至步骤3B5；

步骤4，统计每个任务的计算结果，并合并所有任务的计算结果作为最终结果返回给用户。