[发明专利]基于SQL的数据处理方法、装置和设备

权利要求书

1.一种基于SQL的数据处理方法，其特征在于，包括：

获取用户基于实际需求编写的抽数SQL，以及，从元数据库中调取预先创建的Hive表和HBase虚表；其中，所述HBase虚表用于映射HBase实体表；

在Calcite中，结合所述抽数SQL、所述HBase虚表、所述Hive表，生成物理执行计划，并将所述物理执行计划发送到Hadoop Yarn；

利用所述Hadoop Yarn调度所述物理执行计划，读取所述HBase实体表中的数据写入所述Hive表中。

2.根据权利要求1所述的基于SQL的数据处理方法，其特征在于，所述在Calcite中，结合所述抽数SQL、所述HBase虚表、所述Hive表，生成物理执行计划，并将所述物理执行计划发送到Hadoop Yarn，包括；

在所述Calcite中，结合所述抽数SQL、所述HBase虚表、所述Hive表，生成逻辑执行计划；

基于所述Calcite中的固定规则和所述Calcite中预先注册的自定义规则，对所述逻辑执行计划进行优化；

调用所述Calcite中预先注册的物理转换器，将优化后的逻辑执行计划转换为所述物理执行计划。

3.根据权利要求2所述的基于SQL的数据处理方法，其特征在于，所述在所述Calcite中，结合所述抽数SQL、所述HBase虚表、所述Hive表，生成逻辑执行计划，包括：

在所述Calcite中，基于所述抽数SQL，验证所述HBase虚表、所述Hive表的基本信息；

验证通过后，将所述抽数SQL转换为所述逻辑执行计划。

4.根据权利要求2所述的基于SQL的数据处理方法，其特征在于，所述方法还包括：

获取所述用户基于实际需求编写的初始自定义规则；

控制所述初始自定义规则继承RelOptRule类，实现onMatch；

通过实现了RelNode接口的类，将实现onMatch的初始自定义规则注册到所述Calcite中，得到所述自定义规则。

5.根据权利要求4所述的基于SQL的数据处理方法，其特征在于，所述方法还包括：

获取初始物理转换器；

控制所述初始物理转换器继承ConverterImpl类，实现EnumerableRel接口；

通过所述实现了RelNode接口的类，将实现了numerableRel接口的初始物理转换器注册到所述Calcite中，得到所述物理转换器。

6.根据权利要求2所述的基于SQL的数据处理方法，其特征在于，所述物理转换器包括MapReduce物理转化器，所述物理执行计划包括MapReduce执行树；

所述利用所述Hadoop Yarn调度所述物理执行计划，读取所述HBase实体表中的数据写入所述Hive表中，包括：

利用所述Hadoop Yarn调度所述物理执行计划，获取所述HBase实体表的快照；

基于所述快照，利用所述Hadoop Yarn调度所述MapReduce执行树的Mapper读取所述HBase实体表中的数据；

利用所述Hadoop Yarn调度所述MapReduce执行树中的Reducer对数据进行处理，并写入所述Hive表中。

7.一种基于SQL的数据处理装置，其特征在于，包括：

获取模块，用于获取用户基于实际需求编写的抽数SQL，以及，从元数据库中调取预先创建的Hive表和HBase虚表；其中，所述HBase虚表用于映射HBase实体表；

Calcite模块，用于在Calcite中，结合所述抽数SQL、所述HBase虚表、所述Hive表，生成物理执行计划，并将所述物理执行计划发送到Hadoop Yarn；

物理执行模块，用于利用所述Hadoop Yarn调度所述物理执行计划，读取所述HBase实体表中的数据写入所述Hive表中。