[发明专利]可视化调度监控方法、装置及服务器

说明书

本申请实施例提供一种可视化调度监控方法、装置及服务器，提供一可视化界面，通过响应在管理服务器的可视化界面所选择的流式计算任务，并获取用于执行该流式计算任务的服务器集群信息。根据该流式计算任务配置所需的运行资源信息以及该流式计算任务对应的任务信息。根据用于执行该流式计算任务的服务器集群信息将携带运行资源信息和任务信息的流式计算任务发布至对应的服务器集群。并在接收到服务器集群反馈的发布成功信息后启动监控流程，以对流式计算任务的运行信息进行监控。本申请提供的可视化调度监控方案，利用管理服务器统一对多个服务器集群进行调度及监控，并通过可视化界面显示运行信息，实现了服务器集群之间的信息的统一管理。

技术领域

本发明涉及流式计算技术领域，具体而言，涉及一种可视化调度监控方法、装置及服务器。

背景技术

随着计算机技术迅猛发展以及移动设备和物联网设备的持续增长，基于离线批量计算的数据处理平台已经无法满足海量数据的实时处理需求。由于数据业务价值随着时间的流失而迅速降低，因此在数据发生后必须尽快对其进行计算和处理。在这个背景下，各种实时流处理引擎应运而生，如Spark、Storm、Flink。目前流式处理都采用分布式架构，其处理能力可以随着节点数目的增长而扩展，具有良好的伸缩性。流式处理架构将计算逻辑和任务调度与监控分离。具体计算逻辑和方法需要用户以编码方式自行完成处理逻辑和计算单元的定义。手动将编写的逻辑代码提交到流处理集群中，集群完成任务调度、资源分配以及任务监控。这种方式下可登陆集群提供的监控平台查看任务运行情况，可在监控平台中结束某个运行中的任务。但是这种方式下，流式计算任务的调度及监控统一交给某个集群来管理，多个集群之间无法通信和交互。监控和调度服务相对独立，无法做到统一化监控和管理。

发明内容

有鉴于此，本申请的目的在于，提供一种可视化调度监控方法、装置及服务器以改善上述问题。

本申请实施例提供一种可视化调度监控方法，应用于管理服务器，所述管理服务器与多个服务器集群通信连接，所述方法包括：

响应在所述管理服务器的可视化页面所选择的流式计算任务，并获取用于执行该流式计算任务的服务器集群信息；

根据所述流式计算任务配置所需的运行资源信息以及该流式计算任务对应的任务信息；

根据所述服务器集群信息将携带有所述运行资源信息和任务信息的流式计算任务发布至对应的服务器集群；

在接收到服务器集群反馈的发布成功信息后启动监控流程，以对所述流式计算任务的运行信息进行监控。

可选地，所述任务信息包括流式计算任务对应的任务ID，所述方法还包括：

创建计算任务列表，将成功发布至服务器集群的流式计算任务对应的任务ID添加至所述计算任务列表中；

所述对所述流式计算任务的运行信息进行监控的步骤，包括：

从所述计算任务列表中获取需要进行监控的流式计算任务的任务ID；

调用所述服务器集群的API接口，通过所述API接口获得与所述任务ID对应的流式计算任务的运行信息。

可选地，所述方法还包括：

接收所述服务器集群在执行完所述流式计算任务后所返回的执行结果；

将接收到的执行结果存储至数据库中。

可选地，所述方法还包括：

每间隔预设时长向各所述服务器集群发送心跳信息；

检测是否接收到对应服务器集群反馈的心跳回复信息，若接收到，则确定与对应服务器集群正常通信，若未接收到，则确定对应服务器集群当前通信异常；