[发明专利]一种更新列存储数据库系统的方法和系统

说明书

一种用于更新列存储数据库的方法，包括：建立行存储数据库，其中每行包括多个属性。该方法包括：建立列存储数据库，其中包括与行存储中的至少一个属性相对应的属性向量，每个属性向量包括用于满足至少一个先前接收的分析查询的数据。该方法包括：从同步点开始收集SQL更改语句，其中所述同步点指示行存储数据库和列存储数据库何时同步，并且继续收集直到接收到分析查询。该方法包括：在接收到用于更新列存储数据库的分析查询时，将多个SQL更改语句发送到列存储数据库，以满足所述查询，其中分析查询针对多个属性中的主键属性查询范围。

技术领域

本发明涉及计算机领域，尤其涉及一种更新列存储数据库系统的方法和系统。

背景技术

基于数据记录的存储格式，关系数据库系统中，可用行存储或列存储来保存数据记录。在行存储数据库中，数据记录以行格式排列。在通常包含INSERT/DELETE/UPDATE操作的联机事务处理(online transaction processing，OLTP)事务中，行存储通常表现出良好的性能。例如，可以为涉及一个磁盘I/O操作的整行更改信息。另一方面，在列存储数据库中，数据记录以列格式排列。列存储在联机分析处理(online analytical processing，OLAP)查询方面性能良好，因为它只需要读取处理查询所需的那些列，大大减少了磁盘I/O操作。

由于行存储和列存储适用于不同类型的查询，因此已提出在数据库系统中同时包含行存储和列存储，即混合行/列存储，来处理混合工作负载。目标是在单个数据库系统实现良好的OLTP性能并输出实时(或几乎实时)的分析结果。从行存储数据库构建列存储数据库的常见方法是：从行存储中提取数据记录，并转换它们，再将数据加载到各自列的属性向量中。即，在接收或执行任何分析查询之前，列存储是静态构建的。例如，在数据库不可用于联机访问的非高峰期，执行ETL(Extract-Transform-Load，抽取-转换-加载)流程，以向列存储数据库转移数据。

然而，构建列存储数据库的典型方法是有问题的，因为根据所述方法，必须过度构建数据库以包括与任何后续查询无关的数据。特别地，哪些查询会在数据库上运行，这些查询又针对哪些数据，都是很难预见的。因此，列存储最可能被过度构建以便涵盖所有可能的查询(例如，为行存储数据库中的每个属性都构建属性向量或列)。

同时，随着世界各地的客户和公司对数据库记录不断访问的需求的日益增长，可能没有足够长的好时间窗来执行ETL流程，以将数据从行存储转移到列存储。即，不再有任何非高峰期，也没有足够的时间来构建列存储数据库而又不会严重影响数据库系统的可访问性。

此外，传统的混合行/列存储数据库系统不能提供实时分析。即，分析查询不能实时执行，因为查询必须等ETL操作在查询执行之前的调度时间期间完成后进行。

因此，现有的混合行/列存储数据库系统仍然依赖于猜测查询执行期间会访问哪些属性的预测方法，并倾向于在接收或执行任何查询之前过度构建其列存储数据库。此外，为了加快访问速度，这些传统的列存储数据库构建在如随机存取存储器(random accessmemory，RAM)等的主存储器中，但是当整个列存储数据库被擦除时，在系统崩溃期间会遭受巨大的性能损失。因此，在重建整个列存储数据库的系统恢复过程中，系统仍然宕机。

从行存储数据库构建列存储数据库将是有利的，该行存储数据库不是对于需要访问数据的查询而被过度构建的，并且提供实时查询分析执行。

发明内容