[发明专利]利用QLC作为存储介质的新型分布式存储系统及方法

说明书

本发明涉及一种利用QLC作为存储介质的新型分布式存储系统及方法，该存储系统包括：若干服务器、交换机、若干QLC/SCM机箱，所有服务器经交换机连接至所述QLC/SCM机箱，所述QLC/SCM机箱内置QLC盘和SCM盘，通过NVMe‑oF协议可被所有的服务器访问到。本发明充分利用QLC、SCM和NVMe‑oF三种新技术，存储系统进行重新的设计之后，消除了性能上的访问瓶颈，避免了复杂的各种分层机制，普通SSD高额的价格，可满足当前大数据对存储的各方面需求。

技术领域

本发明涉及计算机存储系统，尤其涉及一种利用QLC作为存储介质的新型分布式存储系统及方法。

背景技术

在大数据、人工智能、物联网时代，特别是随着5G技术的到来，数据量的增长速度会非常快。这就要求不但要可以保存这么多的数据，对容量提出了要求，还同时要求可以随时进行快速的读写，以进行数据的实时分析和处理，无疑对大型存储系统提出了如下的要求：

(1)、超大容量，PB级以上，到EB级；

(2)、超高性能，上百万甚至上千万的iops；

(3)、低成本，这样才可以大规模的应用；

(4)、高可靠性，数据的获取不能中断；

(5)、可线性扩展，这就是对分布式存储的要求。

在计算、网络、存储三大组件中，存储的性能瓶颈最为突出。目前大部分存储使用的都还是机械式的磁盘，其读写性能，特别是读写io次数受到严重限制，无法与CPU、网络的快速发展相匹配。

当前存储系统使用的要么是机械盘，要么是全SSD，或者是利用SSD做缓存，但各有利弊：(1)机械盘技术成熟，容量较大，但性能上的缺点也很明显；(2)全SSD存储系统性能非常好，但价格昂贵，只能用在部分场景上；(3)SSD做缓存，虽然也能解决一些问题，但最终的性能还是受限于底层机械盘的瓶颈。

因此，现有技术存在问题，需要进一步改进。

发明内容

本发明正是针对上述存在的问题，本发明提供一种利用QLC作为存储介质的新型分布式存储系统及方法。

为实现上述目的，本发明的具体技术方案如下：

一种利用QLC作为存储介质的新型分布式存储系统，包括：若干服务器、交换机、若干QLC/SCM机箱，所有服务器经交换机连接至所述QLC/SCM机箱，所述QLC/SCM机箱内置QLC盘和SCM盘，通过NVMe-oF协议可被所有的服务器访问到。

优选地，所述QLC/SCM机箱提供双电源、双10/100G接口。

优选地，所述交换机为以太网交换机或IB交换机。

优选地，所述服务器为x86服务器，根据需求配置不同性能的CPU和内存，运行分布式存储软件。

优选地，该系统中的所有SCM盘组成一个全局写入缓存，先缓存到SCM盘中，所有数据写完后一次性写入到QLC盘上，再写入到QLC盘中。

本发明还提供上述系统的存储方法，包括步骤：

数据写入步骤：先缓存到SCM盘中，所有数据写完后一次性写入到QLC盘上；

数据修改步骤：热数据的频繁修改都在SCM盘中进行，等数据冷却后再刷新到QLC盘中。

优选地，在数据写入步骤中，如果是对老数据的修改操作，在数据写入QLC盘时，采用的是新分配数据块，然后追加写入数据的方法。