[发明专利]一种面向流水线结构化数据查询的数据库智能分区方法

权利要求书

1.一种面向流水线结构化数据查询的数据库智能分区方法，其特征在于，该方法包括：

查询引擎根据SQL的查询请求经过物理计划的执行来处理该SQL查询请求，进行pipeline的划分，并将pipeline的划分情况上传至中心节点；

中心节点根据查询引擎发送的pipeline划分情况，采用在线k-means聚类算法计算出存储引擎节点间最优的数据存储布局，其中，聚类结果中的每个簇对应一个存储节点；

各存储节点利用增量方式存储当前最优数据布局的数据，直到各个存储节点上的数据皆按照最优的数据布局存储为止，每个存储节点便删除旧布局的数据，而保存新布局的数据；

所述pipeline的划分，每一个pipeline的执行对应一个物理计划任务的执行，且一个pipeline对应一个执行节点。

2.根据权利要求1所述的一种面向流水线结构化数据查询的数据库智能分区方法，其特征在于，所述将pipeline的划分情况上传至中心节点，是由查询引擎的master节点将每次pipeline划分的情况汇报给中心节点，其中，汇报的内容包括：每个pipeline所含的列属性信息。

3.根据权利要求1所述的一种面向流水线结构化数据查询的数据库智能分区方法，其特征在于，还包括计时器，所述中心节点从收到查询请求起便由所述计时器执行计时。

4.根据权利要求1所述的一种面向流水线结构化数据查询的数据库智能分区方法，其特征在于，所述采用在线k-means聚类算法计算出存储引擎节点间最优的数据存储布局，具体包括：

通过中心节点收集与统计近段时间被划分为同一个pipeline的列属性信息，同时结合历史样本，采用在线k-means聚类算法进行聚类，结合存储引擎中各存储节点的现有资源和存储引擎的负载均衡对聚类出来的每个簇进行加权，并根据权重对簇降序排序，利用贪心算法生成存储引擎中各存储节点间最优的存储布局。

5.根据权利要求4所述的一种面向流水线结构化数据查询的数据库智能分区方法，其特征在于，所述通过中心节点收集与统计近段时间被划分为同一个pipeline的列属性信息，中心节点统计的属性信息用数字向量表示，数字向量的长度等于存储引擎表中属性的数量，聚类数等于存储引擎中存储节点总数，聚类结果中的每个簇对应一个存储节点，样本之间的距离采用欧式距离。

6.根据权利要求1所述的一种面向流水线结构化数据查询的数据库智能分区方法，其特征在于，所述各存储节点利用增量方式存储当前最优数据布局的数据，直到各个存储节点上的数据皆按照最优的数据布局存储为止，每个存储节点便删除旧布局的数据，而保存新布局的数据，具体包括：

各个存储引擎中的存储节点根据实时的数据布局信息，进行以最优的数据布局进行数据迁移，每个存储节点都按照最优布局以增量的方式进行数据的存储，直到各个存储节点上的数据皆按照最优的数据布局存储为止，每个存储节点便删除旧布局的数据，而保存新布局的数据。

7.根据权利要求1所述的一种面向流水线结构化数据查询的数据库智能分区方法，其特征在于，还包括：

将数据源中的数据通过数据导入系统导入到存储引擎各存储节点中，一列一列地将数据导入到各存储引擎节点上，导入过程中，让一列的数据落在一个存储节点上。