[发明专利]一种大数据任务调度方法、电子设备、存储介质及平台

权利要求书

1.一种大数据任务调度方法，其特征在于包括以下步骤：

获取配置信息，获取用户在大数据任务调度平台配置的待抽取数据库、抽取数据的结构化查询语句、计算数据的结构化查询语句、持久化方式；

抽取数据，采用数据抽取程序调用所述抽取数据的结构化查询语句抽取所述待抽取数据库的数据至Hadoop分布式系统；

计算数据，采用数据计算程序调用所述计算数据的结构化查询语句读取抽取后的数据进行计算；

持久化数据，将计算后的数据按照所述持久化方式进行持久化。

2.如权利要求1所述的一种大数据任务调度方法，其特征在于：所述步骤获取配置信息还包括获取用户在大数据任务调度平台配置的抽取定时任务和计算定时任务，所述抽取定时任务和所述计算定时任务包括Quartz定时任务或Scheduled定时任务。

3.如权利要求2所述的一种大数据任务调度方法，其特征在于：所述步骤抽取数据还包括当所述抽取定时任务触发时，采用数据抽取程序调用所述抽取数据的结构化查询语句抽取所述待抽取数据库的数据至Hadoop分布式系统；所述步骤计算数据还包括当所述计算定时任务触发时，采用数据计算程序调用所述计算数据的结构化查询语句读取抽取后的数据进行计算。

4.如权利要求1所述的一种大数据任务调度方法，其特征在于：所述持久化方式包括持久化至HDFS、Mysql、Redis、Elasticsearch、调用Restful服务，所述步骤持久化数据包括将计算后的数据持久化至HDFS、Mysql、Redis、Elasticsearch、调用Restful服务。

5.如权利要求1所述的一种大数据任务调度方法，其特征在于：所述步骤获取配置信息还包括获取用户在大数据任务调度平台配置的Hadoop集群的地址映射；在所述步骤持久化数据之后还包括步骤查看执行日志，按照所述Hadoop集群的地址映射查看Spark日志。

6.一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-5任一项方法的步骤。

7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-5任一项方法的步骤。

8.一种大数据任务调度平台，其特征在于包括：

配置信息模块：用于配置待抽取数据库、抽取数据的结构化查询语句、计算数据的结构化查询语句、持久化方式；

抽取数据模块：用于采用数据抽取程序调用所述抽取数据的结构化查询语句抽取所述待抽取数据库的数据至Hadoop分布式系统；

计算数据模块：用于采用数据计算程序调用所述计算数据的结构化查询语句读取抽取后的数据进行计算；

持久化数据模块：用于将计算后的数据按照所述持久化方式进行持久化。

9.如权利要求8所述的一种大数据任务调度平台，其特征在于：所述配置信息模块为C/S程序界面或B/S程序界面，所述配置信息模块还包括配置抽取定时任务、计算定时任务、Hadoop集群的地址映射，所述抽取定时任务和所述计算定时任务包括Quartz定时任务或Scheduled定时任务。

10.如权利要求9所述的一种大数据任务调度平台，其特征在于：所述抽取数据模块还包括当所述抽取定时任务触发时，采用数据抽取程序调用所述抽取数据的结构化查询语句抽取所述待抽取数据库的数据至Hadoop分布式系统；所述计算数据模块还包括当所述计算定时任务触发时，采用数据计算程序调用所述计算数据的结构化查询语句读取抽取后的数据进行计算；还包括查看执行日志模块用于按照所述Hadoop集群的地址映射查看Spark日志；所述持久化方式包括持久化至HDFS、Mysql、Redis、Elasticsearch、调用Restful服务，所述持久化数据模块包括将计算后的数据持久化至HDFS、Mysql、Redis、Elasticsearch、调用Restful服务。