[发明专利]一种基于ETL的数据抽取方法

权利要求书

1.一种基于ETL的数据抽取方法，其特征在于，包括以下步骤：

S1、配置目标数据的抽取参数；

S2、编制抽取SQL命令；

S3、将目标数据抽取后进行处理，集成到基础库；

S4、基础库数据抽取完成，生成消息通知；

S5、数据处理总线监控接收消息通知队列，进行数据处理计算；

S6、数据处理计算完成，数据进入项目可视化主题数据库；

S7、对主题数据库中数据进行项目可视化展示。

2.根据权利要求1所述的一种基于ETL的数据抽取方法，其特征在于，步骤S1中，

抽取参数包括：源数据的基础信息、抽取数据的接入方式和抽取数据的频率；

源数据的基础信息包括源数据的数据库类型；

抽取数据的接入方式包括Web Service接口、Rest接口、数据库接口、在线填报、文件上传和批量导入；

抽取数据的频率按要求的时间的频率进行作业任务的创建。

3.根据权利要求1所述的一种基于ETL的数据抽取方法，其特征在于，步骤S3中，

将目标数据抽取后进行的处理包括过滤、清洗、格式转换、脱敏处理、脱密处理、分析处理；以及对数据定义、数据结构、数据标识、数据编码、数据编目、来源、转换关系、质量等级、依赖关系、安全权限内容进行管理。

4.根据权利要求3所述的一种基于ETL的数据抽取方法，其特征在于，所述过滤包括对残缺数据、错误数据和重复数据进行过滤，再将其集成到基础库。

5.根据权利要求1所述的一种基于ETL的数据抽取方法，其特征在于，步骤S5中，数据处理计算包含以下步骤：

1）在数据抽取前置机建立所有数据抽取计算资源列表；

2） 在进行数据抽取初始化时，对计算资源的线程池中最大线程数量进行初始化；

3）将接收到的消息通知，转化为消息处理队列，等待处理；

4）对计算资源线程池进行监测，是否有空余处理线程，直到有空余处理线程；

5）存在空余处理线程时，选择空余线程较多的资源对消息处理队列进行处理；

6）计算完成，释放线程占用处理资源。