[发明专利]一种面向流水线结构化数据查询的数据库智能分区方法

说明书

本发明公开了一种面向流水线结构化数据查询的数据库智能分区方法，解决了基于pipeline的查询上，广播地从其它存储节点获取执行pipeline所需的数据，网络传输开销大、查询执行时间长，查询性能差的问题。本发明方法包括：查询引擎根据SQL的查询请求经过物理计划的执行来处理该SQL查询请求，进行pipeline的划分，并将pipeline的划分情况上传至中心节点；中心节点采用在线k‑means聚类算法计算出存储引擎节点间最优的数据存储布局，其中，聚类结果中的每个簇对应一个存储节点；各存储节点利用增量方式存储当前最优数据布局的数据，直到各个存储节点上的数据皆按照最优的数据布局存储为止，每个存储节点仅保存新布局的数据。

技术领域

本发明涉及分布式数据库下基于机器学习的有利于pipeline执行的存储引擎存储节点之间数据partition策略技术领域，具体涉及一种面向流水线结构化数据查询的数据库智能分区方法。

背景技术

分布式数据库中，在查询引擎物理计划优化阶段已划分好pipeline的基础上，一个pipeline对应一个执行节点，每一个执行节点所需的数据都会广播地从除该执行节点所在的存储引擎节点之外的其它所有存储节点获取数据。

如图1所示，如果执行节点1落在存储节点1上执行，那么该执行节点就会从除存储节点1之外的其它存储节点上广播地获取所需的数据。如某一pipeline执行所需A表a列的部分数据，但是pipeline所在的执行节点在执行节点1上，也就是存储节点1上，而A表a列的数据分散在所有存储节点，那么执行该pipeline就需要广播地从其它存储节点获取执行所需的数据。又如执行某pipeline需要A表的a，b，c列，a列在该pipeline所在的执行节点上，而b列，c列却不在该pipeline所在的执行节点上，那么该执行节点就需要广播地从其它的存储节点获取b列和c列的数据。

然而，以上方式存在一些劣势：广播地从其它存储节点获取执行pipeline所需的数据，极大地增加了网络传输的开销，极大地增加了查询执行时间，进而影响了查询性能。

发明内容

本发明所要解决的技术问题是：基于pipeline的查询上，广播地从其它存储节点获取执行pipeline所需的数据，极大地增加了网络传输的开销，极大地增加了查询执行时间，进而影响了查询性能的问题。本发明提供了解决上述问题的一种面向流水线结构化数据查询的数据库智能分区方法，旨在分布式内存列式数据库下降低查询引擎与存储引擎之间的网络传输开销，给出了一种基于机器学习的有利于pipeline执行的存储引擎节点间数据的布局策略，以提升查询引擎中物理计划的执行速度，进而提升查询性能。

本发明通过下述技术方案实现：

一种面向流水线结构化数据查询的数据库智能分区方法，该方法包括：

查询引擎根据SQL的查询请求经过物理计划的执行来处理该SQL查询请求，进行pipeline的划分，并将pipeline的划分情况上传至中心节点；

中心节点根据查询引擎发送的pipeline划分情况，采用在线k-means聚类算法计算出存储引擎节点间最优的数据存储布局，即经常被划分为同一pipeline的列数据属于聚类结果中的同一个簇，亦即经常被划分为同一pipeline的列数据存储在同一物理存储节点；其中，在线k-means聚类结果中的每个簇对应一个存储节点；

各存储节点利用增量方式存储当前最优数据布局的数据，直到各个存储节点上的数据皆按照最优的数据布局存储为止，每个存储节点便删除旧布局的数据，而保存新布局的数据。