[发明专利]一种负载均衡的分布式数据统计方法及系统

摘要

本发明提供了分布式数据统计方法，该方法使用N个能够相互交换数据的数据处理装置对来自M个对象的数据按对象分别进行统计。所述方法为每个数据处理装置分配其负责统计的对象，并且将所有对象的数据任意地分成N份。每个数据处理装置按对象对其中一份数据进行统计，并存储与其负责统计的对象对应的中间结果，而根据对象分配方案将其他中间结果相应地传送给其他数据处理装置。每个数据处理装置再按对象将其收到的中间统计结果与其存储的中间统计结果进行整合，得到相应对象的最终统计结果。所述方法在分布式的数据统计中实现了多个数据处理装置之间的负载均衡。本发明还提供了采用所述方法的分布式系统。

主权项

一种分布式数据统计方法，所述方法使用N个能够相互交换数据的数据处理装置对来自M个对象的数据按对象分别进行统计，其中N和M为大于1的整数，所述数据被存储在中心数据库中，其特征在于，所述方法包括以下步骤：(1)将所述M个对象划分成相互独立的N个对象集合，并且将所述N个对象集合一一对应地分配给所述N个数据处理装置；(2)将存储在所述中心数据库中的数据划分成相互独立的N个数据块，其中每个所述数据块包括来自所述M个对象中的一个或多个对象的数据；(3)每个所述数据处理装置分别从所述中心数据库提取相应的数据块，并且按对象对其所提取的数据块中的数据进行统计，得到与所述一个或多个对象对应的一个或多个中间统计结果；(4)每个所述数据处理装置存储与其被分配的对象集合中所包含的对象对应的中间统计结果，而根据所述对象集合分配将其余的中间统计结果相应地传送给其他数据处理装置；(5)每个所述数据处理装置按对象将其收到的中间统计结果与其存储的中间统计结果进行整合，得到相应对象的最终统计结果。