[发明专利]数据查询方法、装置及系统

权利要求书

1.一种数据查询方法，其特征在于，用于与数据库集群相连的并行数据仓库工具Hive中，所述方法包括：

获取针对所述数据库集群的HQL查询语句，所述HQL查询语句中指定的Hive表对应于所述数据库集群中关联的至少两张分区表；

根据所述HQL查询语句生成MapReduce执行计划；

将所述MapReduce执行计划发送给并行计算架构Hadoop；

接收所述Hadoop反馈的查询结果，所述查询结果是所述Hadoop根据所述MapReduce执行计划为所述数据库集群中的每个分区表启动一个Mapper映射任务后，通过Reduce化简任务汇总每个Mapper映射任务的查询结果得到的。

2.根据权利要求1所述的方法，其特征在于，所述根据所述HQL查询语句生成MapReduce执行计划，包括：

获取所述HQL查询语句所指定的Hive表在所述数据库集群对应的分区描述信息；

根据所述HQL查询语句、所述Hive表和所述Hive表的分区描述信息生成所述MapReduce执行计划。

3.根据权利要求2所述的方法，其特征在于，所述获取所述HQL查询语句所指定的Hive表在所述数据库集群对应的分区描述信息，包括：

预先存储所述数据库集群的连接信息；根据所述连接信息从所述数据库集群获取所述分区描述信息；

或，

获取预先存储的所述分区描述信息。

4.根据权利要求2所述的方法，其特征在于，所述根据所述HQL查询语句、所述Hive表和所述Hive表的分区描述信息生成所述MapReduce执行计划，包括：

根据所述HQL查询语句确定所述数据库集群中每个分区表所对应的查询条件；

根据所述Hive表生成所述数据库集群在所述Hadoop中的输入格式；

将所述查询条件、所述分区描述信息和所述数据库集群在所述Hadoop中的输入格式生成为所述MapReduce执行计划的内容。

5.一种数据查询方法，其特征在于，用于与数据库集群相连的并行计算架构Hadoop中，所述方法包括：

获取MapReduce执行计划，所述MapReduce执行计划是并行数据仓库工具Hive根据针对所述数据库集群的HQL查询语句生成的，所述HQL查询语句指定的Hive表对应于所述数据库集群中关联的至少两张分区表；

根据所述MapReduce执行计划为所述数据库集群中的每个分区表启动一个Mapper映射任务进行查询；

通过Reduce化简任务汇总每个Mapper映射任务的查询结果；

向所述Hive反馈汇总后的查询结果。

6.根据权利要求5所述的方法，其特征在于，所述根据所述MapReduce执行计划为所述数据库集群中的每个分区表启动一个Mapper映射任务，包括：

根据所述分区描述信息和所述数据库集群在所述Hadoop中的输入格式将所述数据库集群的各个分区表转换为各自对应的输入分片；

对于每个所述输入分片，启动相应的所述Mapper映射任务执行相应分区表的查询。

7.根据权利要求6所述的方法，其特征在于，所述对于每个所述输入分片，启动相应的所述Mapper映射任务执行相应分区表的查询，包括：

对于每个所述映射任务，根据所述Mapper映射任务所对应的分区表所对应的查询条件生成分区查询语句；

通过所述分区查询语句在所述分区表对应的输入分片中读取数据作为查询结果。

8.一种数据查询装置，其特征在于，用于与数据库集群相连的并行数据仓库工具Hive中，所述装置包括：

语句接收模块，用于获取针对所述数据库集群的HQL查询语句，所述HQL查询语句中指定的Hive表对应于所述数据库集群中关联的至少两张分区表；

计划生成模块，用于根据所述HQL查询语句生成MapReduce执行计划；

计划发送模块，用于将所述MapReduce执行计划发送给并行计算架构Hadoop；

结果接收模块，用于接收所述Hadoop反馈的查询结果，所述查询结果是所述Hadoop根据所述MapReduce执行计划为所述数据库集群中的每个分区表启动一个Mapper映射任务后，通过Reduce化简任务汇总每个Mapper映射任务的查询结果得到的。