[发明专利]数据抽取任务执行方法、装置、终端及可读存储介质

说明书

本发明提供一种数据抽取任务执行方法，包括：获取各待执行的数据抽取任务的执行信息，并根据所述执行信息中各数据抽取任务的业务标签将各数据抽取任务划分为至少两个任务组；根据所述执行信息中的任务依赖关系将所述至少两个任务组中每个任务组内的数据抽取任务划分为至少两个任务子组；根据所述执行信息，配置每个任务组的执行优先级，以及配置每个任务子组的执行策略，以生成任务执行配置表；按照所述任务执行配置表，执行各待执行的数据抽取任务。本发明还提供一种数据抽取任务执行装置、终端及可读存储介质。本发明能够避免各数据抽取任务的相互影响，提高数据抽取与汇总效率。

技术领域

本发明涉及计算机领域，尤其涉及一种数据抽取任务执行方法、装置、终端及可读存储介质。

背景技术

随着网络技术的快速发展，金融保险领域逐渐采用数据库存储保险数据和用户数据等，而随着保险种类和用户数量的增加，对保险数据和用户数据等的管理提出了新的要求，目前，按照保险种类，将保险数据和用户数据等存储在不同的数据库中，便于数据的管理。

然而，在实际操作过程中，存在需要使用各数据库内的数据的情况，因此，需要从各数据库中抽取所需的数据并汇总，目前，数据抽取与汇总主要依赖于Kettle工具，由Kettle工具实现数据抽取与汇总，而通过Kettle工具进行数据抽取与汇总时，由于数据抽取任务较多，任务执行时间各异且相互交叉影响，当某一数据抽取任务依赖的Kettle同步任务出现延迟时，会影响其它数据抽取任务，需要耗费较多的时间才能完成数据抽取与汇总。

因此，如何避免各数据抽取任务的相互影响，提高数据抽取与汇总效率是目前亟待解决的问题。

发明内容

本发明的主要目的在于提供一种数据抽取任务执行方法、装置、终端及可读存储介质，旨在提高数据抽取任务执行的便捷性和效率。

为实现上述目的，本发明提供一种数据抽取任务执行方法，所述数据抽取任务执行方法包括以下步骤：

获取各待执行的数据抽取任务的执行信息，并根据所述执行信息中各数据抽取任务的业务标签将各数据抽取任务划分为至少两个任务组；

根据所述执行信息中的任务依赖关系将所述至少两个任务组中每个任务组内的数据抽取任务划分为至少两个任务子组；

根据所述执行信息，配置每个任务组的执行优先级，以及配置每个任务子组的执行策略，以生成任务执行配置表；

按照所述任务执行配置表，执行各待执行的数据抽取任务。

可选地，根据所述执行信息中各数据抽取任务的业务标签将各数据抽取任务划分为至少两个任务组的步骤包括：

从所述执行信息中获取各数据抽取任务的业务标签，并确定各数据抽取任务的业务标签是否均相同；

若各数据抽取任务中存在至少一个数据抽取任务的业务标签不同，则按照业务标签的种类将各数据抽取任务划分为至少两个任务组。

可选地，根据所述执行信息中的任务依赖关系将所述至少两个任务组中每个任务组内的数据抽取任务划分为至少两个任务子组的步骤包括：

从所述执行信息中获取每个任务组内的各数据抽取任务的任务依赖关系；

根据每个任务组内各数据抽取任务的任务依赖关系，确定每个任务组内各数据抽取任务的数据抽取依赖任务；

根据每个任务组内各数据抽取任务的数据抽取依赖任务，将每个任务组内的数据抽取任务划分为至少两个任务子组。

可选地，根据所述执行信息，配置每个任务组的执行优先级，以及配置每个任务子组的执行策略的步骤包括：

从所述执行信息中获取各数据抽取任务的执行时间和任务依赖关系；