[发明专利]使用SpringBoot框架调度Kettle实现司法资源信息数据抽取转换的方法

说明书

本发明公开了使用SpringBoot框架调度Kettle实现司法资源信息数据抽取转换的方法，该方法包括以下步骤：技术框架选型、定义项目的配置、初始化资源、设计数据抽取的具体过程、通过接口操作调度任务以及触发调度任务。

技术领域

该发明直接应用的技术领域为基于司法行政资源的大数据应用。

背景技术

随着司法改革的不断深化和社会经济的不断发展，司法行政也面临着许多新情况、新问题。依托司法行政资源决策技术，推进信息化条件下业务流程再造，以信息化建设推进工作机制完善，推动实现了信息主导、精准服务、精准管控、智能研判的工作新模式，构建起以“智慧决策观”“智慧服务观”“智慧组织结构观”为重点的司法行政“智慧法务”新格局，对司法行政工作向标准化、规范化、精细化方向延伸具有重要推动作用。司法资源信息大数据并非数据的简单加法，而是应建立在数据“乘法融合”，其核心不在于数据量的多少，而是数据的智能化程度之高低。当前，司法资源信息大数据利用的智能化程度有待提高，由数据系统直接生成动态的立体化司法运行状况还未能实现，数据服务还无法满足于个人定制模式，数据检索项设置还比较简单，关键词检索还不够智能，在一定程度上影响了数据库的使用效能。

司法资源信息大数据的智能化要求实现大数据与互联网、人工智能等现代科技手段融合发展，共同运用到司法实践中，实现人工智能在司法领域的深度应用，打破部门信息壁垒，实现部门内部上下级之间数据的对流和交换，促成不同部门之间横向的数据开放与交流。大量的司法资源信息数据如何抽取到大数据平台呢？其中一个解决方案就是使用开源的ETL工具Kettle来进行抽取，但是Kettle的每次抽取都要手动去点击执行，使用并不友好和方便。所以，一个功能友好的、可配置的调度工具来调度kettle的司法资源信息大数据抽取任务十分必要。

发明内容

为实现上述目的，本发明提供如下技术方案：使用SpringBoot框架调度Kettle实现司法资源信息数据抽取转换的方法，该方法包括以下步骤：技术框架选型、定义项目的配置、初始化资源、设计数据抽取的具体过程、通过接口操作调度任务以及触发调度任务。

作为本发明的一种优选技术方案，所述技术框架选型采用目前Java EE最新的开发框架SpringBoot2.0搭建一个提供RESTful接口的Web项目，集成定时调度框架Quartz，和调用Kettle的依赖jar包。

作为本发明的一种优选技术方案，所述定义项目的配置包括：

定义统一的RESTful接口数据返回格式；

重写JobFactory的实现方式，使其可以放入到sping容器中进行管理；

使用hikari数据库连接池连接资源库和其他数据库，并初始化调度任务数据库和kettle的资源库；

配置quartz为数据库存储，配置其部署方式为集群部署；

配置kettle连接资源库的信息。

作为本发明的一种优选技术方案，所述初始化资源包括：

在工程启动的时候初始化Kettle的运行环境，并返回全局的KettleDatabaseRepository资源库对象，供后面操作；

创建2种Job的类，一种拿来实例化kettle的Trans任务，一种拿来实例化kettle的Job任务。

作为本发明的一种优选技术方案，所述设计数据抽取的具体过程包括：

创建调度数据抽取任务；

运行调度数据抽取任务；

暂停调度数据抽取任务；

恢复调度数据抽取任务；

删除调度数据抽取任务；