[发明专利]一种基于MPP引擎的跨数据中心快速查询方法和系统

权利要求书

1.一种基于MPP引擎的跨数据中心快速查询方法，其步骤包括：

1)利用Hive元数据组件将不同MPP引擎中的数据进行统一标记，以数据表属性的方式存储到元数据中，保证元数据在全局中心节点和各数据分中心节点的一致性；将不同MPP引擎中的数据进行统一标记的步骤包括：

(1)根据数据库名称获取系统内唯一库标识，即DB_ID；

(2)若库存在则继续获取表标识，如果库不存在，返回语法错误；

(3)根据DB_ID和表名获取系统内唯一表标识，即TBL_ID，若表不存在返回语法错误；

(4)根据TBL_ID获取表属性，根据store属性字段的属性值选择不同MPP查询引擎，其中store用于识别存储的类型；

2)全局中心节点接收查询请求并对其进行语法解析，解析成功后生成每个数据分中心节点的查询请求并将其发送到对应的数据分中心节点；若解析失败，则返回语法错误；

3)各数据分中心节点接收查询请求并对其进行语法解析，通过元数据的相应MPP引擎进行查询，查询成功后将数据传输给全局中心节点；

4)全局中心节点接收到所有数据分中心节点回传的数据后，将数据存储到底层存储引擎；

5)全局中心节点利用MPP引擎对数据分中心节点返回的数据进行快速查询，并输出查询结果，支持将查询结果以多种方式导出保存，包括：以csv文件格式导出到本地磁盘中，并支持指定分隔符；导出到分布式文件系统中，并支持指定分隔符；支持导入到多种存储引擎和NoSQL数据库中。

2.如权利要求1所述的方法，其特征在于：步骤3)中若查询失败且没有超过重查次数，则进行重查，若超过重查次数，则返回查询错误。

3.如权利要求2所述的方法，其特征在于：步骤3)中若数据传输成功，则数据分中心节点结束本次查询，若传输失败且没有超过重传次数，则进行重传，否则返回传输错误。

4.如权利要求1所述的方法，其特征在于：步骤3)中各数据分中心节点在接收查询请求后，通过JDBC/ODBC在内部执行查询，将查询结果经过HTTP批量返回到全局中心节点。

5.如权利要求1所述的方法，其特征在于：步骤5)中若全局中心节点查询失败且没有超过重查次数，则进行重查，若超过重查次数，则返回查询错误。

6.一种采用权利要求1所述方法的基于MPP引擎的跨数据中心快速查询系统，其特征在于，包括：

元数据模块，用于将不同MPP引擎中的数据进行统一标记并存储到元数据中，保证元数据在全局中心节点和各数据分中心节点的一致性；

数据传输模块，负责跨数据中心的数据传输，其中包括全局中心节点下发查询请求和数据分中心节点返回查询数据；

查询引擎模块，负责各数据中心的具体查询任务，通过兼容多种MPP引擎实现透明查询，通过重查机制屏蔽网络和硬件问题；

结果导出模块，负责将查询结果导出并保存；所述结果导出模块支持将查询结果以多种方式导出并保存，包括：以csv文件格式导出到本地磁盘中，并支持指定分隔符；导出到分布式文件系统中，并支持指定分隔符；支持导入到多种存储引擎和NoSQL数据库中。