[发明专利]一种面向高性能计算的随作业自动部署运行环境方法

说明书

本发明公开了一种面向高性能计算的随作业自动部署运行环境方法，包括：在高性能计算系统结点预置隔离运行环境；用户登录到登录结点的隔离运行环境；用户在登录结点进行对作业的开发调试以及对作业运行环境的配置，并向作业管理系统发出作业运行请求；作业管理系统为用户作业分配高性能计算系统结点的计算结点，并在作业加载的同时自动将用户的上层文件系统随作业同步部署到分配的计算结点上，然后相应的计算结点运行用户的作业；作业执行完毕，计算结点将结果反馈给用户的登录结点，然后计算结点清除掉自己的上层文件系统，结束作业进程并结束。本发明提高高性能计算的作业部署效率，减少用户的负担的同时减少用户的环境配置负担。

技术领域

本发明涉及计算机系统软件领域，尤其涉及一种面向高性能计算的随作业自动部署运行环境方法。

背景技术

当前的高性能计算机系统将物理结点划分为登录结点和计算结点，用户在登录结点发出作业请求后，高性能计算系统通过作业管理系统来分配计算结点以响应这些请求，完成相应的任务。在这个过程中，当前主要存在以下几种模式。

一、传统的高性能计算作业执行方式

传统的高性能计算系统中，用户之间共享登录结点(如图1所示)。用户在登录到登录结点之后，在登录结点的环境之下进行自己的应用程序的开发调试，这时用户可能会配置若干原本系统环境下没有的库和依赖。当用户准备将作业在计算结点上执行时，传统用户一般通过两种方式来配置好计算结点上所需要的运行环境。第一种是用户直接将作业所需要的库和依赖拷贝到相应的计算结点上，然后在作业执行时指定这些相应的结点来运行。第二种是将作业所需要的库和依赖配置到全局共享文件系统中，在作业执行时通过参数指定好相关的库和依赖的路径即可。

这样的作业管理系统主要存在以下缺点：

1.用户的作业部署压力大，为了使得作业可以被正常执行，需要手动配置环境，在第一种方式下，使用的计算结点数量越多，手动配置的压力越大。

2.改变了高性能计算系统的原有环境。经过一个用户配置过的结点很可能会影响其他用户的使用，导致系统环境配置的混乱，并且这样的环境也不能保护用户的隐私。

二、依赖容器的作业部署方式

一个作业的使用的库和依赖项可能会很复杂，为了使得作业的部署更加简单，容器技术被应用到高性能计算的作业部署中。例如docker,将运行环境封装到一个容器image中，利用这个image可以实现较为迅速的作业的移植和部署。在计算结点上，用户只需要将封装好的容器image部署好，就相当于配置好了作业所需要的完整系统环境。这种融入容器技术的高性能计算作业管理系统，相对于传统的方式有了一定的效率提升。

但是这种方式下依然存在着相应的缺点：

1.用户使用容器来封装自己的作业运行环境，容器的内容必须包含这个作业运行所需要的完整系统环境，而这些内容都必须由用户手动维护，给用户带来较大的负担。

2.用户封装完成作业的执行环境，生成容器image，还需要用户手动将这个容器image部署到计算结点或者全局共享文件系统上，并在通过作业管理系统运行作业时需要指定作业管理系统运行这个容器image，这些工作依然给用户带来了较大的负担。

3.传统的容器使用的隔离技术给作业的运行带来了较大的性能开销。

发明内容

本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种面向高性能计算的随作业自动部署运行环境方法，通过一种轻量级的运行环境来提高高性能计算的作业部署效率，减少用户的负担的同时引入近乎可以忽略的开销，减少用户的环境配置负担。

为解决上述技术问题，本发明提出的技术方案为：

一种面向高性能计算的随作业自动部署运行环境方法，包括以下步骤：