[发明专利]抽取数据的方法、装置、设备和计算机可读介质

说明书

本发明公开了抽取数据的方法、装置、设备和计算机可读介质，涉及计算机技术领域。该方法的一具体实施方式包括：接收抽取数据的任务，所述任务指示所述任务从属的应用数据库和所述应用数据库中的表，所述应用数据库由主数据库和/或一个或多个从数据库维护，所述主数据库对应所述一个或多个从数据库；所述从数据库已存在其他抽取数据的任务，则将所接收到的抽取数据的任务分配至所述已存在其他抽取数据的任务的从数据库，处理所接收到的抽取数据的任务；每个所述从数据库不存在其他抽取数据的任务，则从所述从数据库中选择一个从数据库，处理所接收到的抽取数据的任务。该实施方式可以节省抽数任务所耗费的CPU资源和内存资源，避免浪费资源。

技术领域

本发明涉及计算机技术领域，尤其涉及一种抽取数据的方法、装置、设备和计算机可读介质。

背景技术

目前，抽取数据主要是基于业务需求进行抽取。抽取数据是通过抽取数据的任务来完成。抽取数据的任务采用与IP地址对应的数据库表建立一一对应关系，以抽取数据。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：抽取同一个IP地址对应不同数据库表时需要多个抽取数据的任务，每个抽取数据的任务都需要一定量的CPU资源和内存资源，存在资源浪费。

发明内容

有鉴于此，本发明实施例提供一种抽取数据的方法、装置、设备和计算机可读介质，可以节省抽取数据的任务所耗费的CPU资源和内存资源，避免浪费资源。

为实现上述目的，根据本发明实施例的一个方面，提供了一种抽取数据的方法，包括：

接收抽取数据的任务，所述任务指示所述任务从属的应用数据库和所述应用数据库中的表，所述应用数据库由主数据库和/或一个或多个从数据库维护，所述主数据库对应所述一个或多个从数据库；

所述从数据库已存在其他抽取数据的任务，则将所接收到的抽取数据的任务分配至所述已存在其他抽取数据的任务的从数据库，处理所接收到的抽取数据的任务；

每个所述从数据库不存在其他抽取数据的任务，则从所述从数据库中选择一个从数据库，处理所接收到的抽取数据的任务。

所述任务还指示期望接收所述抽取数据的任务的数据库的IP地址；

所述方法还包括：

根据所述IP地址确定维护所述应用数据库的所述主数据库和/或所述一个或多个从数据库。

所述期望接收所述抽取数据的任务的数据库的IP地址是所述从数据库的IP地址；

所述从数据库已存在其他抽取数据的任务，则将所接收到的抽取数据的任务分配至所述已存在其他抽取数据的任务的从数据库，包括：

所述IP地址对应的从数据库上，存在其他抽取数据的任务，则将所接收到的抽取数据的任务分配至所述IP地址对应的从数据库；

或，

所述IP地址对应的从数据库上，不存在其他抽取数据的任务，则将所接收到的抽取数据的任务分配至存在其他抽取数据的任务的从数据库。

所述期望接收所述抽取数据的任务的数据库的IP地址是所述主数据库的IP地址。

所述处理所接收到的抽取数据的任务，包括：

处理所接收到的抽取数据的任务的从数据库，从数据库日志中抽取数据。

根据本发明实施例的第二方面，提供了一种抽取数据的装置，包括：

接收模块，用于接收抽取数据的任务，所述任务指示所述任务从属的应用数据库和所述应用数据库中的表，所述应用数据库由主数据库和/或一个或多个从数据库维护，所述主数据库对应所述一个或多个从数据库；