[发明专利]一种时效优化方法及装置

说明书

本发明实施例涉及大数据批处理技术领域，公开了一种时效优化方法及装置，方法包括获取调度平台中的调度任务数据；对调度任务数据进行依赖关系处理，得到各项调度任务的任务依赖关系数据；基于目标任务清单从任务依赖关系数据中依次获取每一项目标任务的全链路任务关系；基于全链路任务关系以及目标任务清单，利用调度任务历史运行时效以及预设时效基线对目标任务进行筛选，得到待优化目标任务清单。本申请解决了现有技术中在对大数据批处理的时效进行优化时存在的难易批量、快捷的进行时效优化的技术问题，实现了简单、快速、高效的对大数据批处理的时效进行优化的技术效果。

技术领域

本发明实施例涉及大数据批处理技术领域，尤其涉及一种时效优化方法及装置。

背景技术

现有数据中台中的大数据通常进行分层计算和存储，通过自动化调度平台部署一系列任务进行处理，通常在调度平台或资产管理平台可以查看某个任务的运行日志、调度依赖DAG图。

但是金融行业在一些场景对数据的时效性有较高要求，DAG图通常仅限于查看任务的上下游关系，难以批量、快捷地直接用于时效优化分析；而数据处理人员在进行时效问题定位时，通常需要从原始调度配置信息和运行日志中人工提取信息进行分析，难度较大。因此在时效问题优化方面缺乏有效、易用的规则和工具支撑。

发明内容

本发明实施例提供一种时效优化方法及装置，解决了现有技术中在对大数据批处理的时效进行优化时存在的难易批量、快捷的进行时效优化的技术问题。

第一方面，本发明实施例提供了一种时效优化方法，所述时效优化方法包括：

获取调度平台中的调度任务数据，其中，所述调度任务数据为所述调度平台在进行任务调度时的配置数据以及所述调度平台的运行日志数据；

对所述调度任务数据进行依赖关系处理，得到各项调度任务的任务依赖关系数据，其中，所述任务依赖关系数据表征各项调度任务发生的逻辑顺序；

基于目标任务清单从所述任务依赖关系数据中依次获取每一项目标任务的全链路任务关系，其中，所述全链路任务关系包括所述目标任务的主题、层级、后置任务以及前置任务，所述目标任务清单中最后运行的目标任务的层级记为第0层；

基于所述全链路任务关系以及所述目标任务清单，利用调度任务历史运行时效以及预设时效基线对所述目标任务进行筛选，得到待优化目标任务清单。

第二方面，本发明实施例还提供了一种时效优化装置，所述时效优化装置包括：

数据获取单元，用于获取调度平台中的调度任务数据，其中，所述调度任务数据为所述调度平台在进行任务调度时的配置数据以及所述调度平台的运行日志数据；

数据处理单元，用于对所述调度任务数据进行依赖关系处理，得到各项调度任务的任务依赖关系数据，其中，所述任务依赖关系数据表征各项调度任务发生的逻辑顺序；

任务获取单元，用于基于目标任务清单从所述任务依赖关系数据中依次获取每一项目标任务的全链路任务关系，其中，所述全链路任务关系包括所述目标任务的主题、层级、后置任务以及前置任务，所述目标任务清单中最后运行的目标任务的层级记为第0层；

待优化任务确定单元，用于基于所述全链路任务关系以及所述目标任务清单，利用调度任务历史运行时效以及预设时效基线对所述目标任务进行筛选，得到待优化目标任务清单。

第三方面，本发明实施例还提供了一种时效优化设备，所述时效优化设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明实施例第一方面任意的时效优化方法。