[发明专利]用于分布式数据库查询引擎的系统和方法

说明书

在本文中公开了用于能够执行低延迟数据库查询处理的技术。所述系统包括网关服务器和多个工作者节点。所述网关服务器被配置为将包含存储在具有多个数据节点的分布式存储簇内的数据的数据库的数据库查询分成多个局部查询，并且根据多个中间结果构造查询结果。多个工作者节点中的每个工作者节点被配置为通过扫描与存储在分布式存储簇的至少一个数据节点上的相应局部查询相关的数据，来处理多个局部查询的相应局部查询，并且生成存储在工作者节点的存储器内的多个中间结果的一个中间结果。

交叉引用相关申请

本申请要求于2013年1月7日提交的美国专利申请号13/735,820的优先权，该申请之全文并入本文中，以作参考。

本申请要求于2013年12月19日提交的欧洲专利申请号13198563.2的优先权，该申请之全文并入本文中，以作参考。

技术领域

本发明总体上涉及数据库，并且尤其涉及用于低查询延迟数据库分析的分布式数据库查询引擎。

背景技术

计算机和网络计算的发展引起了需要大量数据存储的应用程序。例如，数千万用户可以创建网页并且将图像和文本上传到社会媒体网站中。因此，社会媒体网站每天可以累积大量数据，因此，需要一种用于存储和处理数据的高度可扩展的系统(scalablesystem)。存在促进这样的大量数据存储的多种工具。

存在框架，通过使得应用程序能够与成千台计算机的簇(也称为节点)以及千兆字节的数据交互，这些框架支持大规模数据密集型分布式应用程序。例如，称为Hadoop的框架使用分布式、可扩展的、便携式文件系统，称为Hadoop分布式文件系统(HDFS)，用于在Hadoop簇中在数据节点(也称为子节点)之中分布大量数据。为了减少数据节点电力故障或网络故障(包括开关故障)的不利影响，通常在不同的数据节点上复制HDFS内的数据。

开发了Hive(一种开放源数据仓库系统)，用于在Hadoop簇的顶部上运行。Hive支持以脚本查询语言(SQL)(像称为HiveQL的声明式语言)表示的数据查询。然后，Hive系统将以HiveQL表示的查询编译成可以在Hadoop簇上执行的映射-归约(map-reduce)工作，具有有向非循环图的数学形式。HiveQL语言包括支持包含原始类型、集合(例如，阵列和映射)以及嵌套布局类型(nested compositions of types)的表格的类型系统。此外，Hive系统包括包含方案和统计的称为Hive-元数据存储的系统目录，可用于数据探索(dataexploration)和查询优化中。

与Hadoop簇耦合的Hive系统可以为社会网络系统存储和分析大量数据。例如，Hive系统可以分析在用户之间的连接程度，以对用户在社会网络系统上的历史进行分类。Hive系统可以分析活动日志，以了解社会网络系统的服务如何被用来帮助应用程序开发员、网页管理员以及广告人员做出开发和业务决定。Hive系统可以运行复杂的数据挖掘程序，以优化向社会网络系统的用户示出的广告。Hive系统可以进一步分析使用日志，以识别社会网络系统的垃圾邮件和滥用。

Hive系统包括供没有制作和执行Hive查询的编程能力的人使用的网络工具，用于制作、调试以及调度复杂的数据管线(data pipeline)，并且用于根据存储在Hive系统和其他关系数据库(例如，MySQL和Oracle)内的数据，生成报告。

然而，Hive系统的查询延迟通常较高。由于大量数据以及Hadoop簇的map-reduce方案，甚至最简单的查询可能需要花费几秒到几分钟来完成。这对于在操作人员需要当前查询的结果来决定一系列查询中的下一个查询时的交互式分析尤其是个问题。由于在等待当前查询的结果时，分析人员不能确定下一个查询，所以延迟问题明显影响分析人员的生产力。