[发明专利]执行作业的方法、计算节点、管理节点及计算设备

说明书

本申请提供了一种执行作业的方法，该方法属于大数据技术领域。该方法应用于HPC系统中，HPC系统包括管理节点、多个计算节点和存储系统，对于多个计算节点中执行本次目标作业的每个计算节点，该方法包括：计算节点接收管理节点发送的输入输出IO模型和目标部分作业，其中，IO模型是基于历史执行与目标作业的标识相同的作业的IO信息确定的，或者IO模型是基于历史执行与目标部分作业的标识相同的部分作业的IO信息确定的，该目标部分作业为计算节点本次执行目标作业中的部分作业。计算节点基于IO模型，确定目标部分作业对应的配置参数，计算节点基于配置参数的配置，执行目标部分作业。采用本申请，可以提升执行作业的效率。

本申请要求于2019年08月02日提交的申请号201910713690.8、发明名称为“一种自动化输入输出模型识别与优化方法和计算机设备系统”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。

技术领域

本申请涉及大数据技术领域，特别涉及一种执行作业的方法、计算节点、管理节点及计算设备。

背景技术

在高性能计算(High Performance Computing，HPC)领域中，随着计算机集群规模及运算数据量的快速增长，存储系统的能力越来越成为影响HPC业务性能的关键因素。虽然将分布式存储系统应用到高性能计算场景中，但是由于存储规模的进一步扩大，分布式存储系统中一致性锁开销和存储节点负载均衡等问题逐渐成为影响存储系统整体性能的重要因素。所以如果能够提前了解HPC业务(HPC业务通过HPC应用程序(也可以称为是HPC的作业)实现)的输入输出(input output，IO)信息，基于该IO信息，就能够针对性的设计和配置存储系统。

相关技术中，对于某个HPC的作业，获取IO信息的处理为：通过glibc库重定向的方式拦截IO访问，记录该IO访问的日志信息，然后调用glibc库完成IO访问。在完成IO访问后，为技术人员提供IO信息。技术人员可以分析IO信息，修改HPC的作业的配置参数，适配存储系统。

由于相关技术中是通过重定向的方式，获取到IO访问的日志信息，所以对于某些安全性较高的场景中不允许重定向，会导致无法获取到IO访问的日志信息，进而无法使HPC的作业适配存储系统，执行该作业的效率比较低。

发明内容

本申请提供了一种执行作业的方法、计算节点、管理节点及计算设备，用以提升执行作业的效率。

第一方面，本申请提供了执行作业的方法，该方法应用于HPC系统中，该HPC系统包括管理节点、多个计算节点和存储系统，对于多个计算节点中执行本次目标作业的每个计算节点，该方法包括：接收该管理节点发送的IO模型和目标部分作业，其中，该IO模型是基于历史执行与该目标作业的标识相同的作业的IO信息确定的，或者该IO模型是基于历史执行与该目标部分作业的标识相同的部分作业的IO信息确定的，该目标部分作业为该计算节点执行本次该目标作业中的部分作业。计算节点基于该IO模型，确定该目标部分作业对应的配置参数，基于该配置参数的配置，执行该目标部分作业。