[发明专利]数据质量大数据治理实现方法、电子设备及存储介质

说明书

本发明公开了数据质量大数据治理实现方法，包括如下步骤：根据第一预设规则提取页面数据，将页面数据以第二预设规则进行分类，以构成对应类别相应的元数据；将页面数据基于程序分析技术进行代码重构，以自动生成服务接口；将页面数据、第一预设规则对应的规则标识和页面数据的数据来源信息进行组合形成数据文件，将该数据文件发送至服务器，以使服务器对数据文件进行解析和保存。本发明将数据支持实现API接口，不依赖于原厂商就可以数据重构，可以在数据库封闭、文档源码缺失、开发团队缺位、第三方商业构件的情况下，进行数据质量治理模式的技术实现。

技术领域

本发明涉及一种异构数据治理技术，尤其涉及数据治理大数据治理实现方法、电子设备及存储介质。

背景技术

目前，对于数据质量优化领域，业界主流使用集中式数据质量管理系统。传统集中式数据质量管理系统实现了校验规则规范化管理、规则执行时间调度、数据质量报告统一管理等能力，提高了数据质量校验的效率和管理水平。这种集中式数据质量管理系统局限性在于使用传统数据库集中式存储，当处理海量数据时容易出现性能瓶颈。

在数据治理过程中，数据采集是必不可少的一环，随着数据量日益增加，数据采集的挑战也变得尤为突出，其中包括：数据源多种多样，数据量大，变化快，如何保证数据采集的可靠性和性能，如何避免重复数据，如何保证数据的质量等挑战。目前在数据质量系统中主流的的数据采集方式数据库导出，常用的数据抽取工具有ETL(Extract-Transform-Load)，其本质即是采用数据导库的原理；ETL工具分为两种,一种是数据库厂商自带的ETL工具,如Oracle warehouse builder、Oracle Data Integrator。也有第三方工具提供商，如Kettle；开源领域也有很多的ETL工具，功能各异，强弱不一。其他数据采集的方式例如：针对Web应用，Stanford University和MIT学者提出Webzeitgeist，在代理上部署浏览器内核渲染Web页面，再用爬虫抓取页面数据，该成果发表与国际顶级会议CHI；抓包技术：将网络传输发送与接收的数据包进行截获、重发、编辑、转存等操作，其获取的数据对象是在TCP/IP协议层，捕获的数据是客户端和服务器之间的会话序列，而并不直接关注数据对象的语义。此外，还有WebService，数据库中间库直连等传统数据传输方法。

但是，现有的技术存在以下缺陷：

以上常用的技术，如数据批量导入技术(以ETL为代表)的缺点在于首先导库技术需要提供数据库的权限，这点对于数据拥有者还是源系统开发商来说都难以协调，尤其是对于垂直系统，下级单位更是无法获得数据库的权限。其次还需要技术人员对源系统数据库的流程、数据字典等情况要非常熟悉，对项目实施周期影响较大；WebService方式需要业务系统以及数据接收方开发厂家开发服务接口才能进行数据交互，工程耗时量长，建设成本高。且以上提及的常用技术，均无法做到业务的交互和写入，比如A系统的数据写进到B系统中，或者将A和B系统的数据写入到C系统中。

发明内容

为了克服现有技术的不足，本发明的目的之一在于提供一种数据质量大数据治理实现方法，其可以解决异构系统之间数据交互问题，实现业务的交互。

本发明的目的之二在于提供一种电子设备，其可以实现本发明的目的之一。

本发明的目的之三在于提供一种计算机可读存储介质，其可实现本发明的目的之一。

本发明的目的之一采用如下技术方案实现：

数据质量大数据治理实现方法，包括如下步骤：

数据获取步骤：根据第一预设规则提取页面数据，将页面数据以第二预设规则进行分类，以构成对应类别相应的元数据；

代码重构步骤：将页面数据基于程序分析技术进行代码重构，以自动生成服务接口，所述程序分析技术包括源代码分析、字节码分析、界面截图快照分析和TCP流分析中的一种或多种；