[发明专利]一种支持HiveDML增强的混合存储系统及其方法

说明书

技术领域

本发明涉及到大数据环境下，使Apache Hive高效的实现DML(Data Manipulation Language数据操作语言)操作的混合存储系统的开发与实现，特别涉及支持Hive DML增强的混合存储系统。 

背景技术

Hive为基于Hadoop的数据分析提供了类SQL接口，减少了MapReduce开发量，同时方便了从现有的提供SQL接口的关系数据仓库向Hadoop生态系统的转换。Hive能够将用户定义的数据表模式映射到底层的数据存储之上，并基于MapReduce实现对数据的查询与操作。但是，受制于较弱的DML支持，Hive在企业级大数据处理中无法充分发挥效能。学术界和工业界进行了大量Hive优化的工作，包括了查询方案优化、执行系统优化、存储系统优化等方面。 

(1)查询方案优化 

在2011年The International Conference on Distributed Computing Systems(国际分布式计算系统会议)中Rubao Lee等人公开了一篇名为“YSmart：Yet another SQL-to-MapReduce Translator”的文献，YSmart能够在复杂的查询中发现关联的操作并基于规则对其化简来产生包含MapReduce任务最少的执行方案，从而减少查询时间。在2011年ACM Symposium on Cloud Computing(ACM云计算研讨会)上Sai Wu等人公开了一篇名为“Query Optimization for Massively Parallel Data Processing”的文献，提出了一个Hive的优化器AQUA，它能够对查询中多个JOIN进行分组并基于代价模型选择最优的方案；在The38th International Conference on Very Large Data Bases(第38届国际超大规模数据库会议)上Harold Lim等人公开了一篇名为“Stubby：A Transformation-based Optimizer for MapReduce Workflows”的文献，提出了一个面向MapReduce工作流的优化器Stubby，它能基于一系列的变换(transformation)规则搜索出查询方案各种变体中最高效的一个。这些工作目 标在于提高Hive的查询性能，并没有为Hive带来DML操作的增强。 

(2)执行系统优化 

Hortonworks公司提出了Tez框架，基于Hadoop的第二代MapReduce框架YARN让Hadoop更好的执行DAG(Directed Acyclic Graph，有向无环图)工作流，减少Hive查询执行时不必要的中间任务和数据，从而缩短Hive查询响应时间。UC Berkeley大学开发的Shark(http：／／spark.incubator.apache.org／)在内存计算框架Spark的基础之上提供了与Hive兼容的接口，使得现有的Hive查询能够获得内存计算带来的加速。此外，学术界进行了大量MapReduce框架相关的优化工作，例如MRShare、Starfish、各种调度器等。这些工作都能够对基于MapReduce的Hive带来好处。这些工作缩短了Hive查询响应时间，但没有增强Hive的DML能力。 

(3)存储系统优化