[发明专利]一种数据转换整合软件的自动调度监控系统实现方法

说明书

本发明公开了一种数据转换整合软件的自动调度监控系统实现方法。本发明属于数据转换整合技术领域，该自动调度监控系统实现方法的具体工作过程：万级作业规模调度支持；高可用(HA)、分布式企业级特征；多级组织架构；强大的核心调度功能；全方位实时监控任务运行；灵活的人工干预维护；跨集群调用全链路监控；本发明实现了对数据整合系统任务集群级、跨区域级的全自动调度，能够对任务运行状态、调用链路进行监控和追踪。

技术领域

本发明属于数据转换整合技术领域，特别是涉及一种数据转换整合软件的自动调度监控系统实现方法。

背景技术

数据调度自动化技术是大数据时代数据整合后台不可缺少的重要技术。数据是黄金，数据是整个社会乃各企业团体的重要资产，管好数据、用好数据是整个社会的重要命题。想要用好数据，首先就应该管好数据。而调度自动化技术，正是管好数据的重要保证。在众多大大小小数据仓库、数据集市以及各种各样的数据池子中，是批量调度自动化技术让大量数据的进出、存放、清洗、过滤、粗加工、细加工等各种各样的工作有序、高效的展开。没有批量调度自动化的数据管理、数据整合等ETL工作，就像一家大公司没有领导，所有工作必将变得紊乱、低效、失控。同时随着业务结构的逐渐复杂，面对着跨区域的数据交换的需求，单集群的数据调度自动化已经不能够完全适应，但是跨区域的调度必然会引入额外的问题，就是业务逻辑难以梳理，出现问题难以追踪。因此，如何对数据调度的进行一个全链路的追踪已经成为加强企业数据管理水平的必要能力。

当前许多国外的企业级数据集成领域中，主要技术包括Informatica公司研发Informatica Enterprise Data Integration、InfoSphere Information Server和东方通研发的数据集成平台。现有技术中缺乏对任务的全自动调度，或者调度往往局限于单节点中，缺乏分布式集群的任务调度和跨集群的调度链路监控。其非分布式架构，产品性能无法完全满足日益增长的数据集成需求，无法做到数据处理能力动态横向扩展。其缺乏全链路监控能力，使得数据跨区传输转化的流程纠缠不清，当异常发生时难以准确定位到异常所在的节点。

发明内容

为了解决上述问题；本发明提供一种基于数据转换整合软件的自动调度监控系统，实现对海量数据转换作业的分布式调度监控，以及跨区域的全链路监控分析。

本发明的技术方案是：一种数据转换整合软件的自动调度监控系统的实现方法，其步骤具体如下：

步骤1.1：自动调度监控系统开始进行工作，通过外部模块/系统向自动调度监控系统中的节点发送命令从而添加一个服务；

步骤1.2：节点在接收到发送的命令后将任务信息的服务记录到资源库，并在任务分配表中登记；

步骤1.3：各节点每隔1秒轮询一次，确认是否有新的等待执行的任务或其他节点过期未打开的任务；如轮询的结果是确认有新的等待执行的任务或其他节点过期未打开的任务，则进行抢占任务成功；

如未轮询到新的等待执行的任务或其他节点过期未打开的任务，则返回，从而继续进行轮询，直到轮询成功；

其中，当节点在轮询时发现可用任务则更新其节点ID与打卡时间；

步骤1.4：抢占任务成功后，则对节点采用读取任务；

步骤1.5：对节点采用读取任务信息后再执行该任务；

步骤1.6：执行任务后，该工作结束。

进一步的，步骤(1.4)中当抢占任务成功后，如节点出现异常，则返回至轮询阶段，继续进行轮询，确认是否有新的等待执行的任务或其他节点过期未打开的任务，直至异常的节点恢复正常，然后进行打卡，当打卡发现任务被抢占，则中断任务并退出。

进一步的，步骤(1.5)中所述执行任务的具体操作步骤如下：