[发明专利]针对高性能计算的动态的存储资源划分方法

说明书

本发明公开一种针对高性能计算的动态的存储资源划分方法，基于以下模块：用户模块，Project配置模块，为每个作业创建project标识符、配置project标识符的属性，并保存到数据库，还用于从数据库取出project配置信息，提供给作业管理系统；启停文件系统模块，向数据库调取对应的project的属性信息并打包成消息发送给作业管理系统，服务监控模块，监控I/O转发节点的I/O代理转发系统服务是否正常，并更新到数据库；数据库接口模块，作业管理系统，根据作业的project标识符，调用存储调度系统提供的文件系统启停模块，将来自文件系统启停模块的消息分发到所有计算节点。本发明使得计算资源与I/O代理资源之间比例不再固定，动态的为其分配存储资源，使存储资源的使用更加灵活高效。

技术领域

本发明涉及一种针对高性能计算的动态的存储资源划分方法，属于计算机技术领域。

背景技术

高性能计算机应用于的科学领域越来越宽泛，高性能计算系统中的文件I/O的需求呈多样化特征，其中有的科学计算课题计算量大，计算密集，需要的存储资源较少，而另一些科学计算课题的计算量相对不大，但读写数据较多，I/O密集，需要的存储资源较多。高性能计算中主要采用的存储结构是共享的并行文件系统，将存储资源从计算资源中剥离出来集中管理，呈现给用户和计算资源是全局一致的用户视图。计算资源和存储资源通过高速网络进行连接，但随着计算资源规模的不断扩展，集中式的并行文件系统难以及时响应并发的IO服务，集中式的元数据竞争问题凸显。

为了解决这一问题，在某些计算资源规模巨大的HPC上，其存储结构中引入了I/O转发系统。通过在计算节点和存储服务节点间引入I/O转发节点，每个I/O转发节点服务固定比例的计算节点，暂存和转发计算节点的I/O请求，从而极大地提升了存储系统的可扩展性。但是这一结构仍然存在不足，这种存储资源分配模式中，计算节点和I/O代理节点的对应关系都是固定的，这样每个作业的计算节点固定，使用了多少计算节点，就使用了相同比例的I/O代理节点，而不同作业对存储资源的需求是不相同的，I/O密集型作业需要的I/O转发节点数目大于I/O需求少的作业，每个I/O转发节点服务相同比例计算节点的方法使存储资源的分配变得不均衡，I/O密集型作业使用这些存储资源可能会不够用，负载较大，影响效率，I/O需求较小的作业使用这些存储资源可能会浪费资源。

因此，如何设计出在HPC中面向作业的动态的存储资源划分方法，成为本领域技术人员努力的方向。

发明内容

本发明的目的是提供一种针对高性能计算的动态的存储资源划分方法，该针对高性能计算的动态的存储资源划分方法使得计算资源与I/O代理资源之间比例不再固定，不同I/O需求课题，提交作业时配置不同属性，动态的为其分配存储资源，使存储资源的使用更加灵活高效。

为达到上述目的，本发明采用的技术方案是：一种针对高性能计算的动态的存储资源划分方法，基于以下模块：

用户接口模块，用于向高性能计算上运行的作业提供特定的管理命令与接口，以project为基本单位，对project所需要的存储资源进行申请、查询、释放操作；

Project配置模块，接收用户接口模块的申请操作指令，为project分配所需要的存储资源，为每个作业创建project标识符、配置project标识符的属性，并保存到数据库，还用于从数据库取出project配置信息，提供给作业管理系统；

配置于计算节点内的存储服务启停模块，根据作业管理系统所发送的资源分配情况，自动连接到所分配的存储服务资源，并在作业管理系统退出时自动与存储服务资源断开连接；

服务监控模块，用于实时获取存储服务节点的资源是否正常、负载、能力数据，并将这些信息写入到数据库；

作业管理系统，用于启动或停止应用，在应用启动时根据作业的project标识符，则直接从数据库取出project所分配的存储资源列表信息，并传递给计算节点上的存储服务启停模块；