[发明专利]一种基于格式数据集的分布式数据存储与计算方法

权利要求书

1.一种基于格式数据集的分布式数据存储与计算方法，用于快速执行统计计算，其特征在于，包括： 

将计算统计的过滤条件转换为一个规则集； 

根据所述规则集，将原始无序的数据记录转换为格式数据集； 

将转换后的格式数据集进行存储； 

基于存储的格式数据集，执行统计计算。 

2.根据权利要求1所述的方法，其特征在于，所述过滤条件包括不同记录条件的点过滤条件和范围过滤条件。 

3.根据权利要求2所述的方法，其特征在于，所述将原始无序的数据记录转换为格式数据集，包括： 

根据所述规则集，将原始无序的数据记录划分为具有不同属性的集合； 

格式数据集中的每一个元素为一个格式对，对于一个格式数据对来说，格式数据为一组特定的属性值，数据集为满足该特定属性值的数据记录的集合； 

点过滤条件的记录属性和范围过滤条件中的记录属性，过滤掉原始数据集中无法推导出所涉及属性值的数据记录，形成格式数据集。

4.根据权利要求1所述的方法，其特征在于，所述转换后的格式数据集通过分布式存储方法进行存储。 

5.根据权利要求1所述的方法，其特征在于，所述基于存储的格式数据集，执行统计计算，包括： 

先执行点过滤过程：对于格式数据集中的每个格式数据对，检查其格式数据对中的属性值，过滤掉不符合点过滤条件的格式数据对，剩下的格式数据对组成中间结果数据集；对于中间结果数据集中的每个格式数据对，对数据集中的数据记录进行所需要的统计计算，然后依据点过滤条件过滤格式数据对，剩下的格式数据对组成中间结果数据集； 

然后执行范围过滤：对于中间结果数据中的每个格式数据，使用二分查找算法，找到数据集中的一组满足范围过滤条件的数据记录，组成中间结果数据 集；中间结果数据集中的所有格式数据集就是满足要求的点过滤条件和范围过滤条件的数据记录；对中间数据集中的每个格式数据集中的数据记录执行指定的计算操作，输出结果。 

6.根据权利要求5所述的方法，其特征在于，所述统计计算采用分布式计算来执行点过滤过程、范围过滤过程，统计计算，分布在不同的计算节点并行执行。