[发明专利]面向I/O密集型作业的临时加速存储方法及系统在审
申请号: | 202011156404.1 | 申请日: | 2020-10-26 |
公开(公告)号: | CN112230862A | 公开(公告)日: | 2021-01-15 |
发明(设计)人: | 杨树军;白英豪;叶跃进;陈雨祥;车玉娟 | 申请(专利权)人: | 国家超级计算无锡中心 |
主分类号: | G06F3/06 | 分类号: | G06F3/06 |
代理公司: | 无锡知之火专利代理事务所(特殊普通合伙) 32318 | 代理人: | 袁粉兰 |
地址: | 214000 *** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 面向 密集型 作业 临时 加速 存储 方法 系统 | ||
1.一种面向I/O密集型作业的临时加速存储方法,其特征在于,包括:
构建系统及用户层面的存储加速资源需求描述框架;
接收用户根据存储加速资源描述框架及作业管理规范编写作业脚本;
根据用户提交的脚本,构建临时加速存储系统;
从低速存储系统向临时加速存储系统导入作业所需的文件或目录;
挂载临时加速存储系统,开始作业;
将作业产生的数据导出临时加速存储系统,销毁临时加速存储系统。
2.如权利要求1所述的面向I/O密集型作业的临时加速存储方法,其特征在于,所述“脚本”至少包括:I/O密集型作业所需的节点数量、CPU核的数量、临时加速存储系统容量以及作业用到的文件或目录(文件或目录信息已保存在已有的低速存储系统中)信息。
3.如权利要求2所述的面向I/O密集型作业的临时加速存储方法,其特征在于,包括KV存储系统;
所述“根据用户提交的脚本,构建临时加速存储系统”具体为:
判断节点数量、CPU核的数量、临时加速存储系统容量的资源是否满足用户提交的脚本中的资源需求;
若资源满足需求,将预留并配置脚本中的资源需求;
将脚本中的资源需求注册到KV存储系统中,构建临时加速存储系统。
4.如权利要求3所述的面向I/O密集型作业的临时加速存储方法,其特征在于,所述“挂载临时加速存储系统,开始作业”具体为:
在所需的计算节点上安装临时加速存储系统客户端;
在临时加速存储系统中运行作业,作业产生的数据存入临时加速系统。
5.如权利要求4所述的面向I/O密集型作业的临时加速存储方法,其特征在于,所述“将作业产生的数据导出临时加速存储系统,销毁临时加速存储系统”具体为:
在相应的计算节点上卸载临时加速存储系统客户端;
释放计算资源;
锁定临时加速存储系统;
将作业产生的数据导出到低速存储系统中;
销毁临时加速存储系统。
6.一种面向I/O密集型作业的临时加速存储系统,其特征在于,包括KV存储系统、存储加速系统、作业管理系统和程序;所述存储加速系统包括存储加速系统客户端、存储加速系统服务端和工具模块;
所述程序具体包括:
作业管理系统接收用户根据存储加速资源描述框架及作业管理规范编写作业脚本;
根据用户提交的脚本,构建临时加速存储系统;
从低速存储系统向临时加速存储系统导入作业所需的文件或目录;
挂载临时加速存储系统,开始作业;
将作业产生的数据导出临时加速存储系统,销毁临时加速存储系统。
7.如权利要求6所述的面向I/O密集型作业的临时加速存储系统,其特征在于,所述“脚本”至少包括:I/O密集型作业所需的节点数量、CPU核的数量、临时加速存储系统容量以及作业用到的文件或目录(文件或目录信息已保存在已有的低速存储系统中)信息。
8.如权利要求7所述的面向I/O密集型作业的临时加速存储系统,其特征在于,包括KV存储系统;
所述“根据用户提交的脚本,构建临时加速存储系统”具体为:
作业管理系统判断节点数量、CPU核的数量、临时加速存储系统容量的资源是否满足用户提交的脚本中的资源需求,若资源满足需求,将预留并配置脚本中的资源需求;
作业管理系统调用存储加速系统客户端,将脚本中的资源需求注册到KV存储系统中;
存储加速系统服务端获取到注册在KV存储系统中的资源需求后,调用工具模块构建临时加速存储系统。
9.如权利要求3所述的面向I/O密集型作业的临时加速存储系统,其特征在于,所述“挂载临时加速存储系统,开始作业”具体为:
工具模块在所需的计算节点上安装临时加速存储系统客户端;
在临时加速存储系统中运行作业,作业产生的数据存入临时加速系统。
10.如权利要求4所述的面向I/O密集型作业的临时加速存储系统,其特征在于,所述“将作业产生的数据导出临时加速存储系统,销毁临时加速存储系统”具体为:
工具模块在相应的计算节点上卸载临时加速存储系统客户端;
作业管理系统释放计算资源;
锁定临时加速存储系统;
工具模块将作业产生的数据导出到低速存储系统中;
工具模块销毁临时加速存储系统。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于国家超级计算无锡中心,未经国家超级计算无锡中心许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011156404.1/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种烧结烘干装置
- 下一篇:一种运用区块链技术来完成房产租售的方法