[发明专利]定时抽取和加工数据的方法、终端及计算机可读存储介质

说明书

本发明公开了一种定时抽取和加工数据的方法、终端及计算机可读存储介质，属于数据抽取与加工领域，要解决的技术问题为如何通过xxl‑job和远程调用shell脚本来实现定时抽取和加工数据。其方法基于xxl‑job部署调度器，通过调度器管理任务，通过执行器进行调度，调度器通过执行器远程调用shell脚本，以定时调用sql脚本进行数据抽取和加工。终端包括处理器和存储器，存储器用于存储计算机程序，处理器被配置用于调用所述程序指令执行上述方法。计算机可读存储介质存储有计算机程序，程序指令当被处理器执行时处理器执行上述方法。

技术领域

本发明涉及数据抽取与加工领域，具体地说是一种定时抽取和加工数据的方法、终端及计算机可读存储介质。

背景技术

在税务行业，随着“金税工程”的不断深入，税务数据资源的种类不断丰富，数据量快速增长，特别是近年来飞速增长的电子票据、视频、网页等非结构化数据，已经超出了目前的处理能力。如何采集、存储和利用庞大的涉税数据，进而从海量的数据中挖掘有价值的信息，已然成为税收信息化面临的一个重大课题。从结构化数据转向大数据是下一步发展的必然选择。

任何一个大数据应用分析的软件，都需要一个强大的数据抽取组件、数据存储仓库、数据处理引擎、任务调度引擎和流程设计界面。Hadoop和Spark的重点是在数据的存储和任务调度。

Quartz作为开源作业调度中的佼佼者，是作业调度的首选，但是同样存在以下问题：

问题一、调用API的的方式不人性化；

问题二、需要持久化业务QuartzJobBean到底层数据表中，系统侵入性相当严重；

问题三、调度逻辑和QuartzJobBean耦合在同一个项目中，这将导致一个调度任务数量逐渐增多，同时调度任务逻辑逐渐加重，并使得调度系统的性能受限于业务；

问题四、quartz底层以“抢占式”获取DB锁并由抢占成功节点负责运行任务，会导致节点负载悬殊非常大。

xxl-job为一种作业调度工具，具有如下优点：

优点一、xxl-job既可以采用调用API的方式，也可以采用GLUE形式，从而可避免上述问题一；

优点二、xxl-job将调度器与执行器分解开来，业务只与执行器相关联，从而克服了上述问题二；

优点三、xxl-job的调度器与执行器是分开的，执行器可以加入到项目中，调度系统的运行大部分取决于调度器的运行，只在执行时依赖于被项目集成的执行器，从而克服了上述问题三；

优点四、xxl-job通过执行器实现“协同分配式”运行任务，充分发挥集群优势，负载各节点均衡，从而克服了上述问题四。

大数据应用都需进行数据抽取和加工操作，以HIVE为例，手动执行过程为：通过ssh协议连接到主机，然后执行shell命令，逐步操作费时费力，通常写一个shell脚本，然后执行，调用sql脚本。

鉴于上述xxl-job的优势，如何通过xxl-job和远程调用shell脚本来实现定时抽取和加工数据，是需要解决的技术问题。

发明内容

本发明的技术任务是针对以上不足，提供一种定时抽取和加工数据的方法、终端及计算机可读存储介质，来解决如何通过xxl-job和远程调用shell脚本来实现定时抽取和加工数据的问题。

第一方面，本发明提供一种定时抽取和加工数据的方法，基于xxl-job部署调度器，通过调度器管理任务，通过执行器进行调度，调度器通过执行器远程调用shell脚本，以定时调用sql脚本进行数据抽取和加工。

作为优选，所述方法包括如下步骤：

编写shell脚本和sql脚本，并上传至服务器；