[发明专利]一种超级计算机I/O转发结点轮询映射方法有效
申请号: | 202010351241.6 | 申请日: | 2020-04-28 |
公开(公告)号: | CN111597038B | 公开(公告)日: | 2023-07-14 |
发明(设计)人: | 喻杰;王昉;杨文祥;赵丹;王岳青;邓亮;陈呈;杨志供 | 申请(专利权)人: | 中国空气动力研究与发展中心计算空气动力研究所 |
主分类号: | G06F9/50 | 分类号: | G06F9/50 |
代理公司: | 天津市北洋有限责任专利代理事务所 12201 | 代理人: | 韩帅 |
地址: | 621000 *** | 国省代码: | 四川;51 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 超级 计算机 转发 结点 映射 方法 | ||
本发明公开了一种超级计算机I/O转发结点轮询映射方法,包括如下步骤:计算超级计算机中I/O转发结点的数量,记为n;对n个I/O转发结点分别进行编号为IONsubgt;0/subgt;,IONsubgt;1/subgt;,...,IONsubgt;n‑1/subgt;;计算超级计算机中计算结点的数量,记为m;计算结点的编号分别为CNsubgt;0/subgt;,CNsubgt;1/subgt;,...,CNsubgt;m‑1/subgt;;采用轮询映射计算方法将计算结点CNsubgt;i/subgt;,映射至I/O转发结点IONsubgt;i%n/subgt;;在每个计算结点上,修改I/O转发结点配置,即对于计算结点CNsubgt;i/subgt;,将I/O转发结点配置从传统分区映射方法的修改为轮询映射方法的IONsubgt;i%n/subgt;;所有从计算结点CNsubgt;i/subgt;发出的I/O请求,都由I/O转发结点IONsubgt;i%n/subgt;处理;修改完所有计算结点上的I/O转发结点配置后,重启计算结点上的I/O转发服务,使配置生效,该方法解决了I/O转发结点间的负载不均衡问题。
技术领域
本发明涉及超级计算机存储体系结构领域,尤其涉及一种超级计算机I/O转发结点轮询映射方法。
背景技术
现代超级计算机普遍采用了包含I/O转发层的存储体系结构,计算结点将数据读写的I/O请求发送给I/O转发结点,由I/O转发结点替它们从存储系统中访问数据。目前计算结点与I/O转发结点的映射方法是,系统中所有计算结点被划分成与I/O转发结点数量相同的分区,相邻(如同一机柜内)的计算结点处于同一个分区,每个I/O转发结点负责服务一个分区内的计算结点。该映射方法易于管理维护,但是在实际生产应用环境中却面临着严重的负载不均衡问题。
在超级计算机上,由于作业调度系统优先为大规模并行作业分配相邻的计算结点运行,所以导致它们运行的结点在超级计算机上分布得较为集中。而作业的I/O行为具有突发性,即在作业的运行过程中,仅在少部分时间会产生I/O流量高峰,所以系统中任一时刻仅有少数作业在产生大量的I/O流量。以上两个原因综合导致系统中任一时刻的I/O流量绝大部分仅来自于少数相邻的计算结点。因此在传统映射方法下,系统的I/O流量仅会被极少数I/O转发结点处理,造成负载不均衡,形成性能瓶颈,影响超级计算机的整体运行效率。
针对传统映射方法的缺点,本发明的目的是通过改变计算结点与I/O转发结点间的映射方法,调动更多的I/O转发结点分摊系统的I/O压力,均衡I/O转发结点间的负载,提升系统的I/O性能。
超级计算机提供强大的并行计算能力,高性能计算作业可利用超级计算机数量庞大的计算结点,协同完成复杂的科学计算问题。现代超级计算机的主要构成为:(1)计算结点:提供并行计算能力,数量一般为上万个;(2)存储结点:提供海量数据的存储与访问能力,数量一般为上百个;(3)I/O转发结点:将来自于计算结点的I/O请求转发给存储结点,替计算结点从存储结点中访问数据,数量一般为数百个;(4)高速互连网络:连接计算结点、存储结点、I/O转发结点等。用户提交作业至超级计算机后,作业在计算结点上进行计算,运行过程中作业按需读取输入数据,或写出输出数据,读写数据又称为I/O(InputOutput)。I/O转发结点是连接计算结点与存储结点的桥梁,作业在计算结点上读取数据或写出数据的I/O请求,都必须由相对应的I/O转发结点处理,由其在存储结点上访问数据。当前国内外所有具有I/O转发架构的超级计算机,均采用了一种计算结点与I/O转发结点间的分区映射方法。即,系统中所有计算结点被划分成与I/O转发结点数量相同的分区,相邻(如同一机柜内)的计算结点处于同一个分区,每个I/O转发结点负责服务一个分区内计算结点的I/O请求。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国空气动力研究与发展中心计算空气动力研究所,未经中国空气动力研究与发展中心计算空气动力研究所许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010351241.6/2.html,转载请声明来源钻瓜专利网。