[发明专利]面向实时数据分析的流式图数据处理系统及方法

权利要求书

1.一种面向实时数据分析的流式图数据处理系统，其特征在于，包括：

原始数据分析器、热点检测器、热点负载均衡器、协同调度器和N个计算分区，每一个计算分区包括用于存储静态图数据的图结构存储区和更新操作缓存区；

所述原始数据分析器用于：将一个时间片内接收到的流式更新数据转化为图更新数据，并将所述图更新数据发送到热点检测器，同时根据数据迁移记录表和基于索引的切分方法将所述图更新数据切分为N个数据块，将所述N个数据块发送到对应的计算分区的更新操作缓存区中；

所述热点检测器用于检测所述图更新数据是否为热点数据；

所述热点负载均衡器用于周期性地对所述热点检测器在预设时间段内检测到的所有热点数据进行热点负载均衡，根据热点负载均衡进行计算分区之间的数据迁移，并将进行数据迁移的热点数据通知给所述原始数据分析器；

所述原始数据分析器还用于将进行数据迁移的热点数据记录在所述数据迁移记录表中；

所述协同调度器用于：检测到有应用发出计算请求后，根据所有计算分区中的数据得到当前图结构数据，调用所述应用的算法并将所述当前图结构数据作为输入执行所述应用的算法；

所述热点检测器具体用于：

统计所述图更新数据在t到t+1时刻的更新次数UT(t+1)，通过如下公式计算所述图更新数据在t+1时刻的热度HR(t+1)：

HR(t+1)＝λHR(t)+UT(t+1)；

接着通过公式：计算所述图更新数据的标准分score；

其中，λ为热度的衰减系数，λ＜1，μ(t)与σ(t)分别为t时刻HR(t)的均值与标准差；

若score的值大于预设阈值，则确定所述图更新数据是热点数据，若否，则确定所述图更新数据不是热点数据。

2.根据权利要求1所述的系统，其特征在于，所述协同调度器具体用于：

通知每个计算分区将自身的更新操作缓存区中的数据块合并到图结构存储区中，将所有计算分区的图结构存储区中的数据进行合并得到所述当前图结构数据。

3.根据权利要求1所述的系统，其特征在于，所述热点负载均衡器具体用于：

通过公式cost＝HR·AEdges^α计算在预设时间段内检测到的所有热点数据的计算开销cost，其中，AEdges为热点数据的邻接的边的数目，α为传播系数；

确定是否是第一次执行负载均衡操作，若是，则将全部热点数据按照cost从大到小排序，遍历全部热点数据，对于每个热点数据，将其分配给当前已分配的总计算开销最小的计算分区；

若否，循环执行如下操作：

S1、将已分配到每个计算分区的热点数据按照cost从大到小排序，确定出总cost最大的和总cost最小的计算分区；

S2、确定出k，满足排在前k的热点数据的cost总和大于总cost最小的计算分区的总cost；

S3、若k小于总cost最小的计算分区的热点数据个数，将cost排在第k+1的热点数据迁移到总cost最小的计算分区上，继续执行S1；

S4、否则，循环终止。

4.根据权利要求1-3任一项所述的系统，其特征在于，所述协同调度器包括数据存储单元，所述数据存储单元用于存储注册到所述系统的每一应用的计算执行频率和上一次的执行时刻：

所述协同调度器还用于：

检测到有多个应用发出计算请求时，调度多个应用依次执行，在调度每一应用执行时，通知每个计算分区将自身的更新操作缓存区中从上一次执行时刻到当前时刻的全部数据块合并到图结构存储区中，将所有计算分区的图结构存储区中的数据进行合并得到所述当前图结构数据。