[发明专利]一种基于MPP引擎的跨数据中心快速查询方法和系统

说明书

本发明涉及一种基于MPP引擎的跨数据中心快速查询方法和系统，属于大数据检索分析领域，可应用于实时系统或离线备份系统。该方法将不同MPP引擎中的数据进行统一标记并存储到元数据中；全局中心节点接收查询请求并对其进行语法解析，然后分发送到对应的数据分中心节点；各数据分中心节点通过元数据的相应MPP引擎进行查询，并将数据传输给全局中心节点；全局中心节点利用MPP引擎对数据分中心节点返回的数据进行快速查询，并输出查询结果。本发明能够实现不同数据中心数据的联合查询，兼容多种MPP引擎，充分利用不同存储模式的特点优化查询，支持多种方式导出查询结果，便于实现上层不同应用对结果数据再分析的不同要求。

技术领域

本发明涉及一种基于MPP(Massively Parallel Processor，大规模并行处理)引擎的跨数据中心快速查询技术，特别是涉及元数据统一标识，实现数据可靠快速传输，优化查询分析引擎和支持多种结果导出方式的关键技术，属于大数据检索领域。

背景技术

随着网络和信息技术的不断普及，人类产生的数据量正在呈指数级增长。大约每两年翻一番，根据监测，这个速度在2020年之前会继续保持下去。这意味着人类在最近两年产生的数据量相当于之前产生的全部数据量。可预计，到2020年全球数据将达到40ZB。大量新数据源的出现则导致了非结构化、半结构化数据爆发式的增长。信息数据的单位已达到TB-PB-EB-ZB的级别。这些由我们创造的信息背后产生的这些数据早已经远远超越了目前人力所能处理的范畴。如何管理和使用这些数据，逐渐成为一个新的挑战。

在数据增长的同时，越来越多的企业依赖于海量数据分析结果来进行关键业务决策。大规模数据下的交互式/离线数据分析，是实施数据分析和数据探索的主要途径，具有广泛的商业前景。

在大数据存储方面，出现了多种以分布式存储系统和NoSQL数据库为基础的解决方案；分布式存储系统，支持在多台存储服务器上分担存储负荷和数据保存多副本，利用高性能的计算网络提高传输速度和可靠性，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。NoSQL数据库，即非关系型数据库，包括Key-value型(HBase)数据库、文档型(MonogoDB)数据库、图型(Neo4j)数据库。

在数据检索分析方面出现了侧重不同应用场景的检索引擎，主要包括：

1)Hive。基于Hadoop的一个数据仓库工具，它提供了一些列工具，可以用来进行数据提取转换加载(ETL)，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL(Structured Query Language，结构化查询语言)查询功能，为方便用户使用Map-Reduce而封装了一层SQL。Hive架构主要包括如下组件：CLI(command line interface)、JDBC/ODBC、Thrift Server、WEB GUI、metastore和Driver(Complier、Optimizer和Executor)，这些组件可以分为两大类：服务端组件和客户端组件。服务端组件：Driver组件，该组件包括Complier、Optimizer和Executor，它的作用是将HiveQL(类SQL)语句进行解析、编译优化，生成执行计划，然后调用底层mapreduce计算框架；Metastore组件，元数据服务组件，该组件存储hive元数据，存储在关系数据库里，支持的关系数据库包括derby、mysql，元数据对于hive十分重要，因此支持把metastore服务独立安装到远程的服务器集群中，从而解耦hive服务和metastore服务，保证系统的健壮性；Thrift服务，thrift是facebook开发的一个软件框架，hive集成了该服务，因此支持多种的编程语言调用hive接口。客户端组件：CLI(command line interface)，即命令行接口；Thrift客户端，用于支持多种hive架构的客户端接口，包括JDBC和ODBC接口；WEBGUI，支持通过网页的方式访问Hive所提供的服务。