[发明专利]云平台中自动发放云组件实现大规模融合查询方法及系统

权利要求书

1.一种云平台中自动发放云组件实现大规模融合查询方法，其特征在于，其包括如下步骤：

S1、进行基于SQL查询的代价分析；

S2、计算HIVE存储代价和PrestoDB查询代价；

S3、自动发放相关云组件并配置组件参数；

S4、执行组件将最终查询结果返回到指定的数据库表中；

S5、在执行完毕后，回收云组件；

所述步骤S1包括：

获取业务系统中SQL查询中的表的数量T_NUM；

根据每个表的数据量获得单表查询所消耗的时间T_QUERY_TIME，并作为参数预先配置；

所述步骤S2包括：

根据表的数据量获得存入HIVE中所消耗的时间H_INSERT_TIME；

根据表的数据量获得在PrestoDB中查询所消耗的时间P_QUERY_TIME；

计算H_INSERT_TIME和P_QUERY_TIME之和P_TOTAL_TIME；

判断P_TOTAL_TIME与T_QUERY_TIME的大小关系，在P_TOTAL_TIME小于T_QUERY_TIME时，跳转到步骤S3；否则在关系数据库中查询并返回结果数据并结束；

所述步骤S3包括：

自动发放DMETL组件和DMUDB组件，并自动配置DMETL组件和DMUDB组件的参数；

所述步骤S4包括：

执行DMETL组件，实现将数据抽取并插入到HIVE中；

执行DMUDB组件，实现数据查询操作，并将结果数据缓存到指定的数据表中；

通知业务系统执行完毕，到指定的数据库表中取结果数据。

2.如权利要求1所述的云平台中自动发放云组件实现大规模融合查询方法，其特征在于，

所述步骤S5包括

业务系统提取结果数据，并通知云平台执行完毕；

云平台收到执行完毕的通知后，自动回收已发放的DMETL组件和DMUDB组件。

3.一种云平台中自动发放云组件实现大规模融合查询系统，其特征在于，其包括如下单元：

代价分析单元，用于进行基于SQL查询的代价分析；

代价计算单元，用于计算HIVE存储代价和PrestoDB查询代价；

组件发放单元，用于自动发放相关云组件并配置组件参数；

数据查询单元，用于执行组件将最终查询结果返回到指定的数据库表中；

组件回收单元，用于在执行完毕后，回收云组件；

所述代价分析单元包括：

获取业务系统中SQL查询中的表的数量T_NUM；

根据每个表的数据量获得单表查询所消耗的时间T_QUERY_TIME，并作为参数预先配置；

所述代价计算单元包括：

根据表的数据量获得存入HIVE中所消耗的时间H_INSERT_TIME；

根据表的数据量获得在PrestoDB中查询所消耗的时间P_QUERY_TIME；

计算H_INSERT_TIME和P_QUERY_TIME之和P_TOTAL_TIME；

判断P_TOTAL_TIME与T_QUERY_TIME的大小关系，在P_TOTAL_TIME小于T_QUERY_TIME时，执行组件发放单元的功能；否则在关系数据库中查询并返回结果数据并结束；

所述组件发放单元包括：

自动发放DMETL组件和DMUDB组件，并自动配置DMETL组件和DMUDB组件的参数；

所述数据查询单元包括：

执行DMETL组件，实现将数据抽取并插入到HIVE中；

执行DMUDB组件，实现数据查询操作，并将结果数据缓存到指定的数据表中；

通知业务系统执行完毕，到指定的数据库表中取结果数据。

4.如权利要求3所述的云平台中自动发放云组件实现大规模融合查询系统，其特征在于，

所述组件回收单元包括：

业务系统提取结果数据，并通知云平台执行完毕；

云平台收到执行完毕的通知后，自动回收已发放的DMETL组件和DMUDB组件。