[发明专利]一种数据抽取的方法、装置、计算机设备及存储介质

说明书

本发明公开了一种数据抽取的方法、装置、计算机设备及存储介质，该数据抽取的方法包括但不限于如下的一个或多个步骤。读取项目配置文件，项目配置文件包括数据抽取脚本文件和多个任务配置文件，任务配置文件中包含访问验证信息；获取与数据抽取脚本文件相匹配的任务配置文件，以确定与数据抽取脚本文件相匹配的访问验证信息；根据数据抽取脚本文件和匹配的访问验证信息执行抽取数据的操作，以从源端数据库中提取数据至目标端数据库的临时数据表和转存至目标数据表中。本发明可通过数据抽取脚本文件和任务配置文件明显提高数据库账户的安全性，极大地降低了由于数据抽取操作而可能产生的数据安全和隐私问题，具有可靠性强、用户体验好等优点。

技术领域

本发明涉及数据库技术领域，更为具体来说，本发明能够提供一种数据抽取的方法、装置、计算机设备及存储介质。

背景技术

目前，数据抽取技术的应用越来越广泛，数据抽取一般分为全量抽取、增量抽取等方式。但是，发明人发现：在具体进行数据抽取工作时经常会出现安全信息泄露的问题。特别地，在数据抽取相关文件由测试/开发环境转移到具体生产环境的过程中，经常会出现相关数据库账户安全信息泄露的问题，这直接导致了数据安全和数据隐私泄露的问题，用户体验较差，亟待需要解决。

发明内容

为解决传统的数据抽取技术方案存在的安全性差和用户体验较差等问题，本发明具体可提供一种数据抽取的方法、装置、计算机设备及存储介质，以达到提高数据抽取方法的安全性和提升用户体验等技术目的。

为实现上述技术目的，本发明提供了一种数据抽取的方法，该方法可包括但不限于如下的一个或多个步骤。

读取项目配置文件，所述项目配置文件包括数据抽取脚本文件和多个任务配置文件，所述任务配置文件中包含访问验证信息；

获取与所述数据抽取脚本文件相匹配的任务配置文件，以确定与所述数据抽取脚本文件相匹配的访问验证信息；

根据所述数据抽取脚本文件和匹配的访问验证信息执行抽取数据的操作，以从源端数据库中提取数据至目标端数据库的临时数据表中；

按照表映射关系将所述目标端数据库的临时数据表中的数据转存至目标端数据库的目标数据表中。

进一步地，所述获取与所述数据抽取脚本文件相匹配的任务配置文件包括：

从所述数据抽取脚本文件中解析出连接串信息，以及从所述任务配置文件中解析出任务流信息；

将所述连接串信息与至少一个任务流信息进行匹配，以得到信息匹配结果；

根据所述信息匹配结果为成功，确定与所述数据抽取脚本文件相匹配的任务配置文件。

进一步地，所述将所述连接串信息与至少一个任务流信息进行匹配包括：

读取所述连接串信息中的用户别名；

分别读取各个任务流信息中的所有数据库用户名；

将所述用户别名与所述所有数据库用户名进行遍历匹配。

进一步地，所述根据所述数据抽取脚本文件和匹配的访问验证信息执行抽取数据的操作包括：

通过所述数据抽取脚本文件和所述匹配的访问验证信息生成数据抽取任务；

执行所述数据抽取任务。

进一步地，所述访问验证信息包括数据库用户名和相对应的密码；所述通过所述数据抽取脚本文件和所述匹配的访问验证信息生成数据抽取任务包括：

利用所述数据库用户名和所述密码更新所述数据抽取脚本文件；

执行更新后的数据抽取脚本文件，生成数据抽取任务。

进一步地，该方法还包括：