[发明专利]定时抽取和加工数据的方法、终端及计算机可读存储介质

权利要求书

1.定时抽取和加工数据的方法，其特征在于基于xxl-job部署调度器，通过调度器管理任务，通过执行器进行调度，调度器通过执行器远程调用shell脚本，以定时调用sql脚本进行数据抽取和加工；

所述方法包括如下步骤：

编写shell脚本和sql脚本，并上传至服务器；

配置执行器的执行器类，执行器类继承JobHandler接口，所述JobHandler接口内配置有业务逻辑，用于远程连接并调用shell脚本；

通过xxl-job部署调度器，所述调度器用于管理调度信息及监控调度结果，管理调度信息包括配置任务、删除任务、恢复任务和手动执行任务；

访问调度器并配置任务，配置任务包括设置任务对应的执行器、路由策略、运行模式、阻塞处理策略、负责人、任务描述、定时时间以及JobHandler；

基于手动执行任务或者根据定时时间定时触发的方式，通过调度器向执行器发送调度请求，执行器基于调度请求远程调用shell脚本，通过shell脚本调用sql脚本执行调度，并将生成的调度结果返回调度器；

通过调度器查看调度结果。

2.根据权利要求1所述的定时抽取和加工数据的方法，其特征在于调度请求包括执行请求和终止请求；

基于手动执行任务或者定时触发的方式，通过调度器向执行器发送执行请求，执行器基于执行请求远程调用shell脚本，通过shell脚本调用sql脚本进行数据抽取和加工；

基于手动执行任务或者定时触发的方式，通过调度器向执行器发送终止请求，执行器基于终止请求远程调用shell脚本，通过shell脚本调用sql脚本终止数据抽取和加工。

3.根据权利要求1或2所述的定时抽取和加工数据的方法，其特征在于所述调度器还用于监控任务日志；

执行器基于调度请求远程调用shell脚本，通过shell脚本调用sql脚本执行调度，生成任务日志，所述任务日志存储于服务器；

通过调度器向执行器发送日志请求，执行器基于日志请求远程调用shell脚本以调用sql脚本读取任务日志并将任务日志返回调度器展示。

4.根据权利要求1或2所述的定时抽取和加工数据的方法，其特征在于所述调度器具有API接口和调度地址，API接口用于调用所述调度器，调度地址用于支持浏览器访问调度器。

5.根据权利要求1或2所述的定时抽取和加工数据的方法，其特征在于所述配置任务还包括设置任务对应的任务参数、子任务ID、失败重试次数以及报警邮件。

6.根据权利要求5所述的定时抽取和加工数据的方法，其特征在于通过新增任务或者编辑任务的方式配置任务。

7.一种终端，其特征在于包括处理器、输入设备、输出设备和存储器，处理器、输入设备、输出设备和存储器相互连接，存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令执行如权利要求1-6任一项所述的定时抽取和加工数据的方法。

8.一种计算机可读存储介质，其特征在于所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，程序指令当被处理器执行时所述处理器执行如权利要求1-6任一项所述的定时抽取和加工数据的方法。