[发明专利]面向实时数据分析的流式图数据处理系统及方法

摘要

本发明提供一种面向实时数据分析的流式图数据处理系统及方法。该系统包括：原始数据分析器、热点检测器、热点负载均衡器、协同调度器和N个计算分区。本发明提供的面向实时数据分析的流式图数据处理系统及方法，由于对图更新数据进行了热点检测与热点数据迁移，避免了不同计算分区的计算倾斜，因此保证了数据处理的高效性。

主权项

1.一种面向实时数据分析的流式图数据处理系统，其特征在于，包括：原始数据分析器、热点检测器、热点负载均衡器、协同调度器和N个计算分区，每一个计算分区包括用于存储静态图数据的图结构存储区和更新操作缓存区；所述原始数据分析器用于：将一个时间片内接收到的流式更新数据转化为图更新数据，并将所述图更新数据发送到热点检测器，同时根据数据迁移记录表和基于索引的切分方法将所述图更新数据切分为N个数据块，将所述N个数据块发送到对应的计算分区的更新操作缓存区中；所述热点检测器用于检测所述图更新数据是否为热点数据；所述热点负载均衡器用于周期性地对所述热点检测器在预设时间段内检测到的所有热点数据进行热点负载均衡，根据热点负载均衡进行计算分区之间的数据迁移，并将进行数据迁移的热点数据通知给所述原始数据分析器；所述原始数据分析器还用于将进行数据迁移的热点数据记录在所述数据迁移记录表中；所述协同调度器用于：检测到有应用发出计算请求后，根据所有计算分区中的数据得到当前图结构数据，调用所述应用的算法并将所述当前图结构数据作为输入执行所述应用的算法；所述热点检测器具体用于：统计所述图更新数据在t到t+1时刻的更新次数UT(t+1)，通过如下公式计算所述图更新数据在t+1时刻的热度HR(t+1)：HR(t+1)＝λHR(t)+UT(t+1)；接着通过公式：计算所述图更新数据的标准分score；其中，λ为热度的衰减系数，λ＜1，μ(t)与σ(t)分别为t时刻HR(t)的均值与标准差；若score的值大于预设阈值，则确定所述图更新数据是热点数据，若否，则确定所述图更新数据不是热点数据。