[发明专利]一种基于ETL的数据抽取方法

说明书

一种基于ETL的数据抽取方法。涉及数据处理领域，尤其涉及一种基于ETL的数据抽取方法。提供了一种为企业项目可视化管控数据高效可靠抽取的基于ETL的数据抽取方法。本发明在多系统和多数据源抽取需求、数据抽取与数据处理的消息通知制造、数据抽取处理在分布式集成环境下，达到以下技术效果：1、项目可视化管控数据抽取与分析处理的感知性：规则可灵活配置或扩展以适应不同业务系统、不同关系性数据的数据提取动态感知消息传递；2、项目可视化管控数据抽取与分析处理的资源性：在进行数据抽与处理复杂物理环境时，在多分布式集群环境下，数据抽取资源的动态调度。

技术领域

本发明涉及数据处理领域，尤其涉及一种基于ETL的数据抽取方法。

背景技术

在企业进行项目可视化管控时，由于企业业务系统不同、供应商不同、数据库多样性、传统业务系统主要目标进行内容的增加、修改、删除等操作，经常不能按不同项目维度、时间维度、多部门、多业务系统数据共享等方式统一主题数据可视化展示，一般的数据抽取技术只是针对多业务数据接入、简单时间系列进行处理，缺少完善的机制进行数据抽取处理的通知机制。

在相关项目可视化管控数据抽取的技术中，存在着分别提供数据抽取定义和时间系列，在数据在进行抽取到统一数据资源库中，解决了多业务系统、多数据环境下数据统一抽取问题，但未提供数据抽取与分数据分析消息通知机制、分布式集群数据处理环境下等正常业务流程下保障数据抽取的消息机制造与数据调度处理方法，也未提供在出现错误数据后的异常处理措施。

发明内容

本发明针对以上问题，提供了一种为企业项目可视化管控数据高效可靠抽取的基于ETL的数据抽取方法。

本发明的技术方案为：包括以下步骤：

S1，配置抽取目标数据的抽取参数；

S2，编制抽取SQL命令；

S3，将目标数据抽取后进行处理，集成到基础库；

S4，基础库数据抽取完成，生成消息通知；

S5，数据处理总线监控接收消息通知队列，进行数据处理计算；

S6，数据处理计算完成，数据进入项目可视化主题数据库；

S7，对主题数据库中数据进行项目可视化展示。

步骤S1中，

数据抽取参数包括：源数据的基础信息、抽取数据的接入方式和抽取数据的频率；

源数据的基础信息包括源数据的数据库类型等基础信息；

抽取数据的接入方式包括Web Service接口、Rest接口、数据库接口、在线填报、文件上传和批量导入；

抽取数据的频率按要求的时间的频率进行作业任务的创建。

步骤S3中，

将目标数据抽取后进行处理包括过滤、清洗、格式转换、脱敏处理、脱密处理、分析处理；以及对数据定义、数据结构、数据标识、数据编码、数据编目、来源、转换关系、质量等级、依赖关系、安全权限内容进行管理。

所述过滤包括对残缺数据、错误数据和重复数据进行过滤，再将其集成到基础库。

步骤S5中，数据处理计算包含以下步骤：

1）在数据抽取前置机建立所有数据抽取计算资源列表；

2） 在进行数据抽取初始化时，对计算资源的线程池中最大线程数量进行初始化；

3）将接收到的消息通知，转化为消息处理队列，等待处理；

4）对计算资源线程池进行监测，是否有空余处理线程，直到有空余处理线程；