[发明专利]一种基于政务数据采集的ETL处理方法及装置

权利要求书

1.一种基于政务数据采集的ETL处理方法，其特征在于，该ETL处理方法包括政务数据的采集、数据采集过程中实时监控、对采集数据进行汇总及统计分析三部分。

2.根据权利要求1所述的一种基于政务数据采集的ETL处理方法，其特征在于,所述ETL处理方法通过ETL工具的方式提供外部文件数据的导入、外部数据库的抽取完成政务数据的采集。

3.根据权利要求2所述的一种基于政务数据采集的ETL处理方法，其特征在于,所述ETL工具为kettle，ETL处理方法通过kettle提供的http接口来实现外部文件数据的导入、外部数据库的抽取。

4.根据权利要求3所述的一种基于政务数据采集的ETL处理方法，其特征在于,所述外部文件数据导入、外部数据库的抽取时，需要获取文件导入或者数据抽取任务列表、查询任务列表数量、查看任务详情、更新任务状态。

5.根据权利要求3所述的一种基于政务数据采集的ETL处理方法，其特征在于,所述外部文件数据导入的实现流程为：

1）开始；

2）填写任务名称、任务描述；

3）选择文件获取方式：

a）采用文件上传方式，首先下载导入模板，然后上传文件；

b）采用远程获取方式，首先填写主机地址、端口、用户及密码，然后填写文件路径、命名格式；

c）采用服务器读取的方式，直接填写文件路径、命名格式；

4）配置数据更新方式；

5）数据格式：

a）为非结构化数据时，依次完成文件获取、提交至hdfs存储、存储位置保存至关系型数据库工作后；

b）为结构化数据时，依次完成适配器解析、通过增量或全量的同步方式完成文件解析和数据保存工作；

6）结束。

6.根据权利要求3所述的一种基于政务数据采集的ETL处理方法，其特征在于,所述外部数据库抽取的实现流程为：

1）开始；

2）抽取任务创建流程；

3）启用任务：

4）生成任务文件，并上传；

5）生成kettle执行任务；

6）调度执行；

7）停用任务；

8）更新为停用状态；

9）停止并删除调度任务；

10）结束。

7.根据权利要求1所述的一种基于政务数据采集的ETL处理方法，其特征在于,数据采集过程中，通过创建task任务进行实时监控。

8.根据权利要求1所述的一种基于政务数据采集的ETL处理方法，其特征在于,对采集数据进行汇总及统计分析的过程具体包括：

查询文件导入或者数据抽取的数据总量、成功量、失败量；

把采集成功的数据总量分大小和天数出具统计分析图。

9.一种基于政务数据采集的ETL处理装置，其特征在于,该ETL处理装置包括：

ETL数据采集模块，该模块通过ETL工具的方式提供外部文件数据的导入、外部数据库的抽取完成政务数据的采集；

调度与监控模块，该模块通过ETL工具提供的接口来实现数据调度、通过创建task任务进行实时监控；

统计分析模块，该模块用于查询文件导入或者数据抽取的数据总量、成功量、失败量，并把采集成功的数据总量分大小和天数出具统计分析图。

10.根据权利要求9所述的一种基于政务数据采集的ETL处理装置，其特征在于,所述ETL数据采集模块完成外部文件数据导入、外部数据库的抽取时，需要获取文件导入或者数据抽取任务列表、查询任务列表数量、查看任务详情、更新任务状态。