[发明专利]集群的作业流管理方法和装置

说明书

本发明公开了一种集群的作业流管理方法和装置，该方法包括：扫描目标节点范围内每个节点上运行的作业流控制进程的进程号，确定每个节点上所运行的作业流控制进程；基于每个节点上运行的作业流控制进程的进程信息，确定该作业流控制进程所对应的作业流控制器的端口号；根据作业流控制器的端口号，确定每个节点上配置的作业流控制器。本发明通过扫描并确定节点上运行的作业流控制进程的进程号和对应该作业流控制进程的作业流控制器的端口号，实现了对集群中正在运行的作业流控制器的快速定位。

技术领域

本发明涉及计算机应用技术领域，具体来说，涉及一种集群的作业流管理方法和装置。

背景技术

在高性能计算领域，面向气象、生物、石油等行业的高性能计算越来越复杂，仅依靠作业管理系统构建的高性能计算用户环境，不能完全满足日益复杂的面向行业的高性能计算用户的需求。基于工作流构建的高性能计算用户环境，它不仅便于业务流程的创建和控制，而且扩展了各种关系依赖和流程语义，给复杂的流程控制提供了可能。基于工作流的高性能计算用户环境能够灵活地适应不同用户环境的变化。ecflow就是这样一种作业流控制软件，可以支持多种作业调度系统(例如PBS Portable Batch System)。

高性能计算用户向PBS等作业调度系统提交作业时，多个作业间可能是有依赖关系的。那么为了方便作业管理，可根据作业间的依赖关系和运行顺序创建一个作业流。而ecflow就可以根据该作业流，控制作业的运行顺序，调整作业运行状态，从而进行复杂的流程控制，实现作业流管理。

Ecflow主要由ecflow server、ecflow_client、ecflowview三部分构成。其中，ecflow server是作业流的服务端，又叫做作业流控制器，用于提供作业流的管理和调度功能，其可以分布在集群内的各个节点上。系统用户可以启动自己的ecflow server；ecflow_client是一种命令行工具；ecflowview则是ecflow提供的可视化作业监控和管理客户端。

那么在集群环境中使用ecflow时，多个ecflow server可能分布在集群的不同节点上，也可能在同一个节点上运行多个ecflow server。那么如何快速发现并定位集群中的ecflow server的位置和状态目前还是个未解决的问题。

另外，为方便对ecflow server的管理，实现对多个ecflow server以及应用作业流的流程和状态的监控和管理。ecflow提供了C/S(客户端/服务器)模式的监控客户端ecflowview。但是在现有技术中，ecflowview需要通过vnc等工具登录到ecflow server所在节点才能使用，不方便用户使用；而且ecflowview不能同时管理多个ecflow server，如果在管理ecflow server1时需要管理ecflow server2，则需要关闭对ecflow server1的连接，然后在建立与ecflow server2的连接。显然，管理员难以掌握集群中所有ecflowserver的整体状态，不方便在大规模集群中使用。

此外，ecflow中的单个任务(作业)和作业调度系统中的作业，目前没有显式的对应关系，在使用时需要用户自己分析两者之间的对应关系，这样就会不方便定位作业的实际运行位置，以及掌握作业的具体运行数据。

针对相关技术中的上述问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中的上述问题，本发明提出一种集群的作业流管理方法和装置，能够实现对集群中正在运行的作业流控制器的快速定位。

本发明的技术方案是这样实现的：

根据本发明的一个方面，提供了一种集群的作业流管理方法。

该作业流管理方法包括：