[发明专利]数据统计的方法、装置及服务器

权利要求书

1.一种数据统计的方法，其特征在于，包括：

获取分布式数据库中待统计数据集；

将所述待统计数据集中所包括的数据在预设的多个数据节点中进行分片存储；

对于每个所述数据节点所存储的数据，按照预设的分布式蓄水池算法进行采样处理，得到所述待统计数据集对应的抽样集；

根据所述抽样集，以及预设的直方图参数构建直方图，以对所述待统计数据集进行统计分析。

2.根据权利要求1所述的方法，其特征在于，将所述待统计数据集中所包括的数据在预设的多个数据节点中进行分片存储的步骤，包括：

获取预设的所述数据节点的数量，按照所述数量将所述待统计数据集中所包括的数据分成多个数据流，其中，所述数据流的数量与所述数据节点的数量一致；

将所述数据流分别在所述数据节点中进行分片存储。

3.根据权利要求1所述的方法，其特征在于，对于每个所述数据节点所存储的数据，按照预设的分布式蓄水池算法进行采样处理，得到所述待统计数据集对应的抽样集的步骤，包括：

对于每个所述数据节点所存储的数据，按照预设的第一蓄水池算法进行并行采样，得到每个所述数据节点对应的采样集；

从每个所述采样集中，按照预设的第二蓄水池算法依次进行采样，得到所述待统计数据集对应的抽样集。

4.根据权利要求3所述的方法，其特征在于，按照预设的第一蓄水池算法进行并行采样，得到每个所述数据节点对应的采样集的步骤，包括：

获取预先设置的数据量；

按照预设的所述第一蓄水池算法从每个所述数据节点所存储的数据中并行抽取与所述数据量匹配的数据，以得到每个所述数据节点对应的采样集。

5.根据权利要求4所述的方法，其特征在于，从每个所述采样集中，按照预设的第二蓄水池算法依次进行采样，得到所述待统计数据集对应的抽样集的步骤，包括：

基于预先设置的所述数据量，从每个所述采样集中依次等概率不放回地抽取一个数据；

将抽取的所述数据加入到所述抽样集中，直至所述抽样集中的数据的数量满足预先设置的所述数据量。

6.根据权利要求5所述的方法，其特征在于，将抽取的所述数据加入到所述抽样集中，直至所述抽样集中的数据的数量满足预先设置的所述数据量的步骤，包括：

如果所述采样集的数量大于所述数据量，当所述抽样集中的数据量达到预先设置的所述数据量时，将抽取的所述数据，随机替换所述抽样集中的任一一个数据，以保证从每个所述采样集中依次等概率不放回地抽取一个数据，且，所述抽样集中的数据的数量满足预先设置的所述数据量。

7.根据权利要求1所述的方法，其特征在于，根据所述抽样集，以及预设的直方图参数构建直方图的步骤，包括：

按照预先设置的排序规则对所述抽样集中的数据进行排序，得到所述抽样集对应的排序抽样集；

获取预设的直方图参数；

根据所述排序抽样集，以及预设的所述直方图参数构建直方图；其中，所述直方图参数包括以下参数至少之一：所述直方图的桶数，所述直方图的桶深，以及，与所述排序抽样集对应的行数。

8.一种数据统计的装置，其特征在于，包括：

获取模块，用于获取分布式数据库中待统计数据集；

存储模块，用于将所述待统计数据集中所包括的数据在预设的多个数据节点中进行分片存储；

采样模块，用于对于每个所述数据节点所存储的数据，按照预设的分布式蓄水池算法进行采样处理，得到所述待统计数据集对应的抽样集；

构建模块，用于根据所述抽样集，以及预设的直方图参数构建直方图，以对所述待统计数据集进行统计分析。

9.一种服务器，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现权利要求1至7任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现权利要求1至7任一项所述的方法。