[发明专利]一种基于格式数据集的分布式数据存储与计算方法

说明书

技术领域

本发明涉及计算机技术领域，特别是涉及一种基于格式数据集的分布式

据存储与计算方法。

背景技术

随着大数据时代的到来，数据以爆炸式方式地增长，海量数据的计算不但可以服务社会或者企业的各个方面，为公众的生活和企业的运营决策提供服务。而海量数据的有效利用很大程度上取决于对这些数据的有效存储和快速计算，在通常情况下，数据的时效性非常强，如果不能在可以忍受的时间内完成数据计算并得到可靠的计算结果，那么数据的价值将会极大地降低。因此如何海量数据的有效计算成为了当前大数据研究的一个热门课题。

当前，海量数据的统计计算不但受到了存储介质的读写性能的影响，集群节点之间数据传输性能的影响，而且受制于计算的计算能力，总结起来有以下特点：1、数据量巨大，由于数据的维度、范围、量级都不受限制，因此数据常常是TB级，甚至PB级。2、异常数据复杂，数据源多样，且数据收集收到了设备缺陷、或者网络信号等多种客观并且不可预知的因素的影响，导致数据中存在大量不可预知的数据，异常数据的种类繁多。3、统计要求的条件多样，常常夹杂着需要进行动态计算的过滤条件，导致计算复杂度高。

现有的方法通常是采用传统的关系数据库，基于SQL语言来进行计算，导致计算复杂度高，SQL脚本编写困难，无法应对海量数据和复杂的异常数据。

发明内容

本发明采用一种基于格式数据集的分布式数据存储与计算方法，极大地缩短了海量数据的统计计算的时间，易于计算规模的扩展，并且能够有效地应对数据的多样性和异常数据。

本发明采用如下方案：

一种基于格式数据集的分布式数据存储与计算方法，用于快速执行统计计算，包括：

将计算统计的过滤条件转换为一个规则集；

根据所述规则集，将原始无序的数据记录转换为格式数据集；

将转换后的格式数据集进行存储；

基于存储的格式数据集，执行统计计算。

优选地，所述过滤条件包括不同记录条件的点过滤条件和范围过滤条件。

优选地，所述将原始无序的数据记录转换为格式数据集，包括：

根据所述规则集，将原始无序的数据记录划分为具有不同属性的集合；

格式数据集中的每一个元素为一个格式对，对于一个格式数据对来说，格式数据为一组特定的属性值，数据集为满足该组特定属性值，且按其中某些属性值进行排序的数据记录的集合；

点过滤条件的记录属性和范围过滤条件中的记录属性，过滤掉原始数据集中无法推导出所涉及属性值的数据记录，形成格式数据集；

优选地，所述转换后的格式数据集通过分布式存储方法进行存储。

优选地，所述基于存储的格式数据集，执行统计计算，包括：

先执行点过滤过程：对于格式数据集中的每个格式数据对，检查其格式数据对中的格式数据描述的属性值，并以此过滤掉不符合点过滤条件的格式数据对，剩下的格式数据对组成中间结果数据集；对于中间结果数据集中的每个格式数据对，对数据集中的数据记录进行所需要的统计计算，然后检查计算结果，依据点过滤条件过滤格式数据对，剩下的格式数据对组成中间结果数据集；

然后执行范围过滤：对于中间结果数据中的每个格式数据，使用二分查找算法，找到数据集中的一组满足范围过滤条件的数据记录，组成中间结果数据集；中间结果数据集中的所有格式数据集就是满足要求的点过滤条件和范围过滤条件的数据记录；对中间数据集中的每个格式数据集中的数据记录执行指定的计算操作，输出结果。

优选地，所述统计计算采用分布式计算来执行点过滤过程、范围过滤过程，统计计算，分布在不同的计算节点并行执行。

本发明公开的一种基于格式数据集的分布式数据存储于计算方法，通过将计算统计的过滤条件转换为一个规则集；根据规则集，将原始无序的数据记录转换为格式数据集；将转换后的格式的数据集进行存储；基于存储的格式数据集，执行统计计算。极大地缩短了海量数据的统计计算的时间，易于计算规模的扩展，并且能够有效地应对数据的多样性和异常数据。

附图说明

图1为本发明实施例1提供的一种基于格式数据集的分布式数据存储于计算方法的流程图；

图2为本发明实施例1统计计算需求的条件；

图3为本发明实施例1统计计算项。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。