[发明专利]用于调用数据的方法和装置

说明书

本申请公开了用于调用数据的方法和装置。方法包括：获取数据调用任务；获取数据调用任务所调用的数据库的锁；获取数据库中各分库所运行的任务执行者的数量；将所运行的任务执行者的数量最少的分库，确定为执行任务的分库；将数据调用任务添加至执行任务的分库的任务队列中。该方法实现了将多个待处理的数据调用任务切分至多个逻辑单元来并行处理，可以通过增加客户端的硬件设备来提速任务处理，均衡数据库服务器端的硬件能力，提高了对于业务需求的响应速度。

技术领域

本申请涉及计算机技术领域，具体涉及计算机网络技术领域，尤其涉及用于调用数据的方法和装置。

背景技术

在数据规模急速膨胀的今天，应用系统每天都需要处理海量的数据。对于海量结构化数据的处理，现在一般有两种方案：一种是通过数据路由引擎通过记录的路由字段，将待处理的操作路由到特定的库表进行处理，也即将分库表当作逻辑单库单表来处理(以下简称路由引擎方案)，另一个方案是通过分析数据库的操作日志，将日志导入分布式发布订阅消息系统(Kafka)然后进行后续处理，或者使用分布式数据库同步系统(Otter)这样的组件进行处理(以下称为日志方案)。

然而，路由引擎方案对于处理海量数据中的单条或者极小规模数据是可行的，但是遇到需要处理海量数据(比如数据清洗，数据同步等)时，由于对后台库的拓扑结构完全透明，无法有效地利用所有数据库，无法有效地执行批量操作，性能远远无法满足业务需求。数据库日志方案只能一次处理全量的日志，无法实现对数据的选择性处理，反复处理，缺乏应对业务的伸缩性需求的能力。

另外，由于海量数据的处理往往需要耗费少则数小时，多达数天，这样的情况下，无论是路由引擎方案还是数据库日志方案，对于当前任务处理的进度及执行效率的监控力度较弱且无法调整算法任务，响应业务需求的速度较慢。

发明内容

本申请的目的在于提出一种改进的用于调用数据的方法和装置，来解决以上背景技术部分提到的技术问题。

第一方面，本申请实施例提供了一种用于调用数据的方法，方法包括：获取数据调用任务；获取数据调用任务所调用的数据库的锁；获取数据库中各分库所运行的任务执行者的数量；将所运行的任务执行者的数量最少的分库，确定为执行任务的分库；将数据调用任务添加至执行任务的分库的任务队列中。

在一些实施例中，方法还包括：若执行任务的分库执行任务队列中的任务完毕，将执行任务的分库从本地的数据库中释放。

在一些实施例中，方法还包括：执行下一个任务队列不为空的分库的任务队列中的任务。

在一些实施例中，获取数据调用任务所调用的数据库的锁包括：在对应数据库的预定路径下生成第一临时节点；在释放锁时删除第一临时节点。

在一些实施例中，方法还包括：在执行任务的分库执行任务队列中的任务时，获取任务所要调用的表的锁；若任务调用表中的数据完毕，释放表的锁。

在一些实施例中，获取任务所要调用的表的锁包括：在对应表的预设路径下生成第二临时节点；在释放表的锁时删除第二临时节点。

在一些实施例中，方法还包括：采用分布式缓存记录响应于执行任务队列中的任务所进行的批次处理的数据记录。

在一些实施例中，方法还包括：响应于执行任务队列中的任务发生异常，在发生异常的任务中止后，调用任务队列中的上一次任务所记录的数据记录，恢复任务运行状态；和/或响应于接收对数据记录的调整指令，调整数据记录，执行对应调整后的数据记录的任务。