[发明专利]一种超大规模数据的预估方法和装置

说明书

本发明公开了一种超大规模数据的预估方法和装置，包括：根据预置条件对待计算数据进行切分，将所述待计算数据切分成多个分组；按比例从每个所述分组中抽取部分用户组成样本数据，使得从一个分组中抽取出来的待计算数据占所述样本数据的比例与所述一个分组占所述待计算数据的比例相同；从所述样本数据中随机选取部分数据构成子样本数据，并按多个预置属性对所述子样本数据进行分类形成多个预估表；将预置的业务需求与相应的预估表关联并生成数据脚本，所述预置的业务需求与至少一个预置属性相关；对所述数据脚本进行计算生成预估结果。解决了现有的预估采用随机或者分桶进行数据采样可能会导致数据在某些值上发生累积的技术问题。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种超大规模数据的预估方法和装置。

背景技术

大数据的背景下，需要计算的数据规模越来越大(比如超过10亿、50亿甚至100亿条数据)。在多张大表之间做数据组合查询，需要很长时间。有时候超过1个小时或者几个小时，甚至更长。

而在很多的场景下，用户可能需要快速的做出决策，这种情况下，就需要使用预估。在对数据要求比较高的场合，对预估的数据的精确度的要求也越高。预估是一种在大数据时代常用的技术。大数据一般都是用类似hadoop进行运算。

常用的预估包括数据采样和计算，数据采样通常使用随机数和分桶等算法。但直接的随机或者分桶采样，可能会导致数据在某些值上发生累积。如果在多张表上直接做抽样，那么这些抽样表做组合查询的时候，预估的结果就会非常少。

发明内容

本发明提供了一种超大规模数据的预估方法和装置，解决了现有的预估采用随机或者分桶进行数据采样可能会导致数据在某些值上发生累积的技术问题。

本发明提供了一种超大规模数据的预估方法，包括：

根据预置条件对待计算数据进行切分，将所述待计算数据切分成多个分组；

按比例从每个所述分组中抽取部分用户组成样本数据，使得从一个分组中抽取出来的待计算数据占所述样本数据的比例与所述一个分组占所述待计算数据的比例相同；

从所述样本数据中随机选取部分数据构成子样本数据，并按多个预置属性对所述子样本数据进行分类形成多个预估表；

将预置的业务需求与相应的预估表关联并生成数据脚本，所述预置的业务需求与至少一个预置属性相关；

对所述数据脚本进行计算生成预估结果。

优选地，

所述的超大规模数据的预估方法，还包括：

根据预置的属性参考值与所述多个预估表中的属性实际值比较，判断所述属性实际值是否在预置的置信区间内，若在，将所述预估结果作为最终结果输出。

优选地，

所述的超大规模数据的预估方法，还包括：

预先根据作为参考的属性对所述待计算数据进行计算，得到所述属性参考值。

优选地，

所述的超大规模数据的预估方法，还包括：

若所述属性实际值不在预置的置信区间内，则根据预置规则对所述预估结果进行处理生成相应的预估区间，并将所述预估区间作为最终结果输出。

优选地，

根据预置规则对所述预估结果进行处理生成相应的预估区间具体包括：