[发明专利]面向实时数据分析的流式图数据处理系统及方法

说明书

本发明提供一种面向实时数据分析的流式图数据处理系统及方法。该系统包括：原始数据分析器、热点检测器、热点负载均衡器、协同调度器和N个计算分区。本发明提供的面向实时数据分析的流式图数据处理系统及方法，由于对图更新数据进行了热点检测与热点数据迁移，避免了不同计算分区的计算倾斜，因此保证了数据处理的高效性。

技术领域

本发明涉及大数据处理技术领域，尤其涉及一种面向实时数据分析的流式图数据处理系统及方法。

背景技术

最近几年，Twitter、Facebook、微博等社交网络日渐兴起，占据了互联网企业的重要席位，人们对社交网络的依赖性日益增强，包括和朋友聊天、向别人发布自己的状态，以及了解最新的信息和新闻等等。由于社交网络的应用需要能够对大规模社交网络图进行实时分析，例如，需要依据网络拓扑图的实时变化进行朋友推荐、新鲜事排序、广告投放或者实时搜索，因此社交网络的应用需要一种实时性很高的图处理系统。

目前流行的图计算模型是全局的、批量的计算模型，由于社交网络的规模比较大，单次基于图的运算需要很长时间，因此不能满足社交网络应用的实时性需求。为满足实时性需求，图1为现有的一种流式图数据处理系统结构图，结合图1，该系统对流式图数据的处理过程为：首先数据加工节点(图示n个)将原始图数据切分后按照索引分配到各个图存储与计算节点(图示多个)上，图结构与图数据分开保存，在流式更新数据(即图更新数据)到来后，数据加工节点将流式更新数据识别处理为图结构更新操作后发送到图存储与计算节点，同时在识别处理图结构更新操作的过程中，为该更新操作设置一个序号并将该更新操作以及对应的序号发送至更新进度表中，每隔一段时间，快照产生器会读取更新进度表中的数据获取最新操作的序号，然后将小于最新操作的序号的操作合并后发送给每一图存储与计算节点作为增量算法的输入，由每一图存储与计算节点中的计算单元进行计算。

上述流式图数据处理过程中，由于流式图数据中普遍存在热点数据(如突发事件、爆炸性新闻等)，热点数据更新频繁，会占用大量的计算资源，因此会导致计算倾斜，如某些图存储与计算节点的数据计算量远高于其他图存储与计算节点的数据计算量，使得总的处理时间延长，处理效率不高。

发明内容

本发明提供一种面向实时数据分析的流式图数据处理系统及方法，采用热点检测与热点数据迁移的优化方式保证数据处理的高效性，从而解决了现有技术中处理效率不高的问题。

第一方面，本发明提供一种面向实时数据分析的流式图数据处理系统，包括：

原始数据分析器、热点检测器、热点负载均衡器、协同调度器和N个计算分区，每一个计算分区包括用于存储静态图数据的图结构存储区和更新操作缓存区；

所述原始数据分析器用于：将一个时间片内接收到的流式更新数据转化为图更新数据，并将所述图更新数据发送到热点检测器，同时根据数据迁移记录表和基于索引的切分方法将所述图更新数据切分为N个数据块，将所述N个数据块发送到对应的计算分区的更新操作缓存区中；

所述热点检测器用于检测所述图更新数据是否为热点数据；

所述热点负载均衡器用于周期性地对所述热点检测器在预设时间段内检测到的所有热点数据进行热点负载均衡，根据热点负载均衡进行计算分区之间的数据迁移，并将进行数据迁移的热点数据通知给所述原始数据分析器；

所述原始数据分析器还用于将进行数据迁移的热点数据记录在所述数据迁移记录表中；

所述协同调度器用于：检测到有应用发出计算请求后，根据所有计算分区中的数据得到当前图结构数据，调用所述应用的算法并将所述当前图结构数据作为输入执行所述应用的算法。

进一步地，所述协同调度器具体用于：

通知每个计算分区将自身的更新操作缓存区中的数据块合并到图结构存储区中，将所有计算分区的图结构存储区中的数据进行合并得到所述当前图结构数据。