[发明专利]一种数据抽取的方法、装置、计算机设备及存储介质

权利要求书

1.一种数据抽取的方法，其特征在于，包括：

读取项目配置文件，所述项目配置文件包括数据抽取脚本文件和多个任务配置文件，所述任务配置文件中包含访问验证信息；

获取与所述数据抽取脚本文件相匹配的任务配置文件，以确定与所述数据抽取脚本文件相匹配的访问验证信息；

根据所述数据抽取脚本文件和匹配的访问验证信息执行抽取数据的操作，以从源端数据库中提取数据至目标端数据库的临时数据表中；

按照表映射关系将所述目标端数据库的临时数据表中的数据转存至目标端数据库的目标数据表中。

2.根据权利要求1所述的数据抽取的方法，其特征在于，所述获取与所述数据抽取脚本文件相匹配的任务配置文件包括：

从所述数据抽取脚本文件中解析出连接串信息，以及从所述任务配置文件中解析出任务流信息；

将所述连接串信息与至少一个任务流信息进行匹配，以得到信息匹配结果；

根据所述信息匹配结果为成功，确定与所述数据抽取脚本文件相匹配的任务配置文件。

3.根据权利要求2所述的数据抽取的方法，其特征在于，所述将所述连接串信息与至少一个任务流信息进行匹配包括：

读取所述连接串信息中的用户别名；

分别读取各个任务流信息中的所有数据库用户名；

将所述用户别名与所述所有数据库用户名进行遍历匹配。

4.根据权利要求1所述的数据抽取的方法，其特征在于，所述根据所述数据抽取脚本文件和匹配的访问验证信息执行抽取数据的操作包括：

通过所述数据抽取脚本文件和所述匹配的访问验证信息生成数据抽取任务；

执行所述数据抽取任务。

5.根据权利要求4所述的数据抽取的方法，其特征在于，所述访问验证信息包括数据库用户名和相对应的密码；所述通过所述数据抽取脚本文件和所述匹配的访问验证信息生成数据抽取任务包括：

利用所述数据库用户名和所述密码更新所述数据抽取脚本文件；

执行更新后的数据抽取脚本文件，生成数据抽取任务。

6.根据权利要求1所述的数据抽取的方法，其特征在于，还包括：

对从源端数据库抽取的数据进行至少一次压缩处理，以得到多个压缩文件包；

将所述压缩文件包存储至目标端数据库。

7.根据权利要求6所述的数据抽取的方法，其特征在于，

所述对从源端数据库抽取的数据进行至少一次压缩处理包括：

通过数据检测的方式将所述抽取的数据划分为安全数据和风险数据；

将所述安全数据压缩为第一文件包，以及将所述风险数据压缩为第二文件包；

所述将所述压缩文件包存储至目标端数据库包括：

将所述第一文件包存储至目标端数据库的第一分区中，并将所述第二文件包存储于目标端数据库的第二分区中。

8.一种数据抽取的装置，其特征在于，包括：

配置文件读取模块，用于读取项目配置文件；所述项目配置文件包括数据抽取脚本文件和多个任务配置文件，所述任务配置文件中包含访问验证信息；

验证信息获取模块，用于获取与所述数据抽取脚本文件相匹配的任务配置文件，以确定与所述数据抽取脚本文件相匹配的访问验证信息；

抽取操作执行模块，用于根据所述数据抽取脚本文件和匹配的访问验证信息执行抽取数据的操作，以从源端数据库中提取数据至目标端数据库的临时数据表中；

数据映射转存模块，用于按照表映射关系将所述目标端数据库的临时数据表中的数据转存至目标端数据库的目标数据表中。

9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项权利要求所述数据抽取的方法的步骤。

10.一种存储有计算机可读指令的存储介质，其特征在于，所述计算机可读指令被一个或多个处理器执行时，使得所述一个或多个处理器执行如权利要求1至7中任一项权利要求所述数据抽取的方法的步骤。