[发明专利]数据任务处理方法、应用服务器及计算机可读存储介质

说明书

本发明公开了一种数据任务处理方法，该方法包括：从终端设备获取任务列表；配置所述任务依赖者，以分析数据与任务的依赖关系；记录数据同步的执行过程；根据所述数据同步的执行过程及数据与任务的依赖关系判断数据是否同步；若数据已经同步完成，执行已经完成数据同步的任务；若数据没有完成同步，发出预警信息。本发明还提供一种应用服务器及计算机可读存储介质。本发明提供的数据任务处理方法、应用服务器及计算机可读存储介质可以通所述数据同步的执行过程及数据与任务的依赖关系判断数据是否同步，实现只有数据完成同步才能执行任务。

技术领域

本发明涉及数据分析领域，尤其涉及一种数据任务处理方法、应用服务器及计算机可读存储介质。

背景技术

Hadoop是一个开源分布式基础架构，用户可以在不了解分布式底层细节的情况下，开发分布式程序。Hadoop实现了一个分布式文件系统，它提供高传输率来访问应用程序的数据，适合那些有着超大数据集的应用程序。通常利用ozzie实现任务的调度，但是基于单独ozzie的任务调度不能分析实现数据与任务的依赖关系，比如模型的任务要等一段时间内的数据同步跑完后才能执行，然而数据与任务的依赖控制混乱，出问题后较难发现。

发明内容

有鉴于此，本发明提出一种数据任务处理方法、应用服务器及计算机可读存储介质，能够通过分析所述请求帮助信息，获取与当前页面操作相关对应的帮助文档，提高用户体验。

首先，为实现上述目的，本发明提出一种数据任务处理方法，该方法应用于应用服务器，所述方法包括：

从终端设备获取任务列表；

配置所述任务依赖者，以分析数据与任务的依赖关系；

记录数据同步的执行过程；

根据所述数据同步的执行过程及数据与任务的依赖关系判断数据是否同步；

若数据已经同步完成，执行已经完成数据同步的任务；

若数据没有完成同步，发出预警信息。

可选地，配置所述任务列表中的任务的依赖者，以分析数据与任务的依赖关系的步骤，具体包括如下步骤：

获取所述任务的流程节点的有效依赖(relier)配置；

执行依赖状态查询语句，并输出原始依赖结果；

合并多个任务节点，补全依赖状态，并对依赖结果去重；

为所述去重的依赖结果标注依赖配置切片标签，完成分析所有任务的依赖关系。

可选地，所述若数据已经同步完成，执行已经完成数据同步的任务的步骤，具体包括如下步骤：

获取等待中的轮跑任务及重跑任务；

执行所述轮跑任务及所述重跑任务。

可选地，所述执行所述轮跑任务及所述重跑任务的步骤之前，还包括如下步骤：

将所述轮跑任务及所述重跑任务按优先等级高低进行排序；

优先执行等级高的任务。

可选地，所述方法还包括如下步骤：

监控当前执行的任务；

当任务执行过程当中出现异常时，发出预警。

此外，为实现上述目的，本发明还提供一种应用服务器，所述应用服务器包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的数据任务处理系统，所述数据任务处理系统被所述处理器执行时实现如下步骤：

从终端设备获取任务列表；

配置所述任务依赖者，以分析数据与任务的依赖关系；