[发明专利]分布式数据库统计信息的收集方法及系统

权利要求书

1.一种分布式数据库统计信息的收集方法，其特征在于，待统计的分布式数据库表的数据分布于至少一个节点，通过如下步骤获取所述数据库表的统计信息：

采集所述数据库表在每个节点上的行数以及在每个节点的数据，汇总所述数据库表在每个节点上的行数得到所述数据库表的总行数，并汇聚所述数据库表在每个节点上的数据得到数据样本；

基于数据样本，通过HyperLogLog Counting算法预估列的NDV值；

对数据样本进行采样，得到采样后数据样本，基于采样后数据样本构建列的直方图，并基于采样后数据样本进行列的高频统计；

将所述分布式数据库表的总行数、列的列的NDV值、列的直方图以及列的高频统计作为所述分布式数据库表的统计信息写入系统表中。

2.根据权利要求1所述的分布式数据库统计信息的收集方法，其特征在于，采集所述数据库表在每个节点的数据，并对所述数据库表在每个节点上的数据进行采样，从所述分布式数据库表在每个节点上的数据中抽取等量的数据作为采样数据，并汇总所有节点的采样数据构建数据样本。

3.根据权利要求2所述的分布式数据库统计信息的收集方法，其特征在于，通过蓄水池算法对所述数据库表在节点上的数据进行采样，并通过蓄水池算法对数据样本进行采样。

4.根据权利要求3所述的分布式数据库统计信息的收集方法，其特征在于，基于所述采样后的数据样本构建列的直方图，所述直方图假设为一个桶。

5.根据权利要求1-4任一项所述的分布式数据库统计信息的收集方法，其特征在于，所述分布式数据库表包括主表和作为副本的副表；

基于主表的表ID获取主表的统计信息作为所述分布式数据库表的统计信息；

所述系统表的字段至少包括：

tableID，所述tableID用于存储表ID；

columnIDs，所述columnIDs用于存储用户指定的列集合；

rowCount，所述rowCount用于存储表ID对应的行数；

distinctCount，所述distinctCount用于存储columnIDs对应列集合的NDV；

histogram，所述histogram用于存储直方图编码之后的数据。

6.一种分布式数据库统计信息的采集模块，其特征在于，用于基于如权利要求1-5任一项所述的方法收集分布式数据库表的统计信息，所述采集模块配置于分布有待统计分布式数据库表的节点上，其中一个节点作为协调节点，配置于所述协调节点上的采集模块作为协调器，配置于其它节点上的采集模块作为采集器；

对于待统计的分布式数据库表，所述采集器用于采集所述分布式数据库表在本地节点上的行数以及数据，并将分布式数据库表在本地节点上的行数以及数据发送至协调器；

对于待统计的分布式数据库表，所述协调器用于执行：

采集所述分布式数据库表在本地节点上的行数以及数据；

汇总所述数据库表在每个节点上的行数得到数据库表的总行数；

汇聚所述数据库表在每个节点上的数据得到数据样本；

基于数据样本，通过HyperLogLog Counting算法预估列的NDV值；

对数据样本进行采样，得到采样后数据样本，基于采样后数据样本构建列的直方图，并基于采样后数据样本进行列的高频统计；

将所述分布式数据库表的总行数、列的列的NDV值、列的直方图以及列的高频统计作为所述分布式数据库表的统计信息写入系统表中。

7.根据权利要求6所述的分布式数据库统计信息的采集模块，其特征在于，所述采集器和协调器用于采集所述数据库表在每个节点的数据，并对所述数据库表在每个节点上的数据进行采样，从所述分布式数据库表在每个节点上的数据中抽取等量的数据作为采样数据；

所述协调器用于汇总所有节点的采样数据构建数据样本。