[发明专利]一种面向NVMeoF存储网络的无锁传输方法及系统有效

专利信息
申请号: 202010338868.8 申请日: 2020-04-26
公开(公告)号: CN111459417B 公开(公告)日: 2023-08-18
发明(设计)人: 李琼;宋振龙;赵曦;谢徐超;谢旻;袁远;黎铁军;肖立权;魏登萍;任静;李世杰;陈浩稳 申请(专利权)人: 中国人民解放军国防科技大学
主分类号: G06F3/06 分类号: G06F3/06;G06F9/50;G06F9/48
代理公司: 湖南兆弘专利事务所(普通合伙) 43008 代理人: 谭武艺
地址: 410073 湖南*** 国省代码: 湖南;43
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 面向 nvmeof 存储 网络 传输 方法 系统
【说明书】:

发明公开了一种面向NVMeoF存储网络的无锁传输方法及系统,主机端根据CPU核的数量来创建相同数量的NVMeoF队列,并为每一个NVMeoF队列申请一段数组格式的空白内存;当命令包到来时则将其加入NVMeoF队列对应的数组格式的空白内存中并通过独立的链表进行缓存;轮询每个NVMeoF队列,将缓存的命令包通过网络发送给目标端。本发明在每个NVMeoF队列里增加链表缓存,采用轮询多个链表的方法,缓解多NVMeoF队列对单一发送链表锁竞争激烈问题、解决大I/O压力情况下的I/O瓶颈问题。

技术领域

本发明涉及远程存储和存储网络技术,具体涉及一种面向NVMeoF存储网络的无锁传输方法及系统。

背景技术

NVMe协议是针对新型高速Non-Volatile Memory(比如闪存、3D Xpoint等)而量身定制的,PCIe接口和NVMe协议的高效组合,降低了I/O协议栈开销、存储访问延迟,提升了I/O吞吐率和I/O带宽,在数据中心中得以广泛应用。

然而,受限于PCIe总线的扩展性,NVMe协议不适用于大规模的跨网远程存储访问。将NVMe协议基于RDMA网络扩展的NVMeoF存储网络协议应运而生,可以用来在主机和存储系统之间通过各种网络结构与远程的NVMe设备进行通信,为数据中心构建高性能易扩展的网络存储系统提供了有效的技术途径,成为未来发展趋势。

NVMeoF(NVMe over Fabrics)可以选择不同的链路层和物理层协议实现,承载网络包括Infiniband、ROCE、iWARP、FibreChannel等,以及基于定制协议的RDMA网络,如天河超级计算机中采用的定制高速互连网络。

基于RDMA网络的NVMeoF网络存储I/O命令传输流程如图1所示。命令数据包(CMDCapsule)为图1中I/O请求命令数据包封包后的统称,除了基本的命令ID、操作码、缓存地址、命令参数以外,还包含可选的附加SGL或命令数据;响应数据包(RSP Capsule)为图1中I/O响应数据包封包后的统称,除了基本的命令参数、SQ(发送队列)头指针、命令状态、命令ID以外,还包含可选的命令数据;NVMeoF队列(nvme_fabrics_queue)中封装了队列的ID号、队列大小、nvme命令报文等信息;发送链表(send_list)是用来存放命令包或响应包指针的链表。

NVMeoF队列的数量根据当前服务器CPU的核数来创建,在多核CPU的情况下,传统连接方式是“多生产者,单消费者模型”。 一般采用基于单发送链表的连接方式,如图2所示。主机端(Host)多个NVMeoF队列发送过来的I/O命令包都需要通过互连网络接口卡(简称网卡)来发送,因此需要对发送链表加锁,由于只有一个发送链表,每个请求在进出链表时,为保证互斥性,需要对链表进行加锁操作;每个命令包都需要先获得锁后,才可以加入到发送链表的尾部,等待网卡发送。同理,目标(Target)端队列产生的I/O响应包也需要获得锁之后才可以插入发送链表。在多核多进程情况下,对于链表锁的竞争将会十分频繁,将严重影响I/O请求的处理效率,导致主机端向目标端发送请求、目标端向主机端发送响应的速率过慢,不能充分发挥底层高速NVMe存储设备的性能。在I/O压力大的情况下锁竞争尤为激烈,导致I/O瓶颈问题突出。

发明内容

本发明要解决的技术问题:针对现有技术在I/O压力大的情况下出现锁竞争激烈导致I/O瓶颈问题,提供一种面向NVMeoF存储网络的无锁传输方法及系统,本发明在每个NVMeoF队列里增加链表缓存,采用轮询多个链表的方法,缓解多NVMeoF队列对单一发送链表锁竞争激烈问题、解决大I/O压力情况下的I/O瓶颈问题。

为了解决上述技术问题,本发明采用的技术方案为:

一种面向NVMeoF存储网络的无锁传输方法,实施步骤包括:

1)主机端根据CPU核的数量来创建相同数量的NVMeoF队列,并为每一个NVMeoF队列申请一段数组格式的空白内存;

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国人民解放军国防科技大学,未经中国人民解放军国防科技大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202010338868.8/2.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top