[发明专利]面向I/O密集型作业的临时加速存储方法及系统

说明书

本发明提供的一种面向I/O密集型作业的临时加速存储方法，涉及存储技术领域，包括：构建系统及用户层面的存储加速资源需求描述框架；接收用户根据存储加速资源描述框架及作业管理规范编写作业脚本；根据用户提交的脚本，构建临时加速存储系统；从低速存储系统向临时加速存储系统导入作业所需的文件或目录；挂载临时加速存储系统，开始作业；将作业产生的数据导出临时加速存储系统，销毁临时加速存储系统。本发明在作业提交时构建临时加速存储系统，在作业结束退出时及时销毁临时加速存储系统，释放资源，显著缩短I/O密集型作业的执行时间，提高用户作业的运行效率，提升高性能计算机的使用效益。

技术领域

本发明涉及存储技术领域，尤其涉及面向I/O密集型作业的临时加速存储方法及系统。

背景技术

高性能计算系统作为继理论科学和实验科学之后人类认识世界改造世界的第三大科学研究方法，应用领域越来越广泛，性能需求越来越高。

当前高性能计算的发展异常迅速，且越来越以数据为中心。

相对于计算性能的快速发展，存储性能发展相对滞后，考虑到高容量需求和价格等因素，目前大部分高性能计算机仍然采用机械硬盘作为主力存储系统(下称低速存储系统)，此类存储系统并不适合I/O密集型的作业，尤其是在同时有成百上千个各类应用同时竞争I/O资源的时候，I/O因素会显著增加作业运行时间。近年来，存储领域也发展步伐逐渐加大，出现了SSD、NVRAM SSD、NVDIMM等多种快速存储设备，但因其价格高昂，高性能计算系统不可能完全部署此类快速存储设备，一般仅使用一小部分快速存储设备作为存储系统的高速缓存，对所有作业(包括非I/O密集型作业)提供有限的I/O加速支持。

发明内容

本发明提供的面向I/O密集型作业的临时加速存储方法及系统，以解决现有技术中高性能计算中存储系统的缺陷，显著缩短I/O密集型作业的执行时间，提高用户作业的运行效率，提升高性能计算机的使用效益。

为解决上述技术问题，本发明提供的技术方案为：

本发明提供的一种面向I/O密集型作业的临时加速存储方法，包括：构建系统及用户层面的存储加速资源需求描述框架；

接收用户根据存储加速资源描述框架及作业管理规范编写作业脚本；

根据用户提交的脚本，构建临时加速存储系统；

从低速存储系统向临时加速存储系统导入作业所需的文件或目录；

挂载临时加速存储系统，开始作业；

将作业产生的数据导出临时加速存储系统，销毁临时加速存储系统。

本发明提供的一种面向I/O密集型作业的临时加速存储方法，优选地，所述“脚本”至少包括：I/O密集型作业所需的节点数量、CPU核的数量、临时加速存储系统容量以及作业用到的文件或目录(文件或目录信息已保存在已有的低速存储系统中)信息。

本发明提供的一种面向I/O密集型作业的临时加速存储方法，优选地，包括KV存储系统；

所述“根据用户提交的脚本，构建临时加速存储系统”具体为：

判断节点数量、CPU核的数量、临时加速存储系统容量的资源是否满足用户提交的脚本中的资源需求；

若资源满足需求，将预留并配置脚本中的资源需求；

将脚本中的资源需求注册到KV存储系统中，构建临时加速存储系统。

本发明提供的一种面向I/O密集型作业的临时加速存储方法，优选地，所述“挂载临时加速存储系统，开始作业”具体为：

在所需的计算节点上安装临时加速存储系统客户端；