[发明专利]基于Ceph的读写模型优化和异构副本组合方法

说明书

本发明涉及一种基于Ceph的读写模型优化和异构副本组合方法，属于计算机技术领域。该方法包括：S1：改变Ceph副本写强一致性模型为副本写弱一致性模型；S2：采用一种读优化方案，用副本节点的综合性能作为权重，来决定副本节点提供读服务的概率；S3：对象副本节点通过SSD和HDD的不同组合方式的读写性能发挥集群的异构特性；S4：根据集群的数据热度采用一种数据迁移方案，同时改进Ceph选择对象存储节点算法，根据数据热度将对象迁移到符合相应副本组合方式中，从而提高整个Ceph集群的读写性能。本发明解决了Ceph不感知异构存储节点以及读写性能延迟较高的问题。

技术领域

本发明属于计算机技术领域，涉及分布式文件系统Ceph异构存储领域，尤其涉及一种对象存储副本组合方式和读写模型优化方案。

背景技术

近年来，由于云计算和云存储的引入，面对海量级的数据需要计算与存储，分布式系统成为首选。它将各种各样的存储资源结合起来共同对外服务，可以将单一的任务分发到不同的节点进行处理，大大提高了处理的效率。

Ceph作为一个新兴的分布式存储系统，它的原型是一项关于存储系统的Ph D研究项目，由加利福尼亚大学的Sage Weil在2007年提出。2010年三月底，可以在主线Linux内核(从2.6.34版开始)找到Ceph的身影。目前Inktank公司掌控Ceph文件系统的开发，Ceph是开源的，遵循LGPL协议。Ceph的第一个版本在2012年6月发布。Ceph这个分布式存储系统拥有很多亮点，它拥有块存储、对象存储、文件系统存储的统一存储能力和自动化的维护等等，它是一个可靠的自治的分布式存储系统。Ceph使用CRUSH算法替代了广泛使用的一致性哈希，很好的解决的数据分布的问题，消除了传统分布式存储中的中心节点，客户端只要使用CRUSH就可以知道数据存放在哪。并且Ceph的元数据服务器集群使用了动态子树分区的策略，可以很好的平衡各个元数据服务器上的负载。Ceph目前在Open Stack社区中备受重视，得到越来越多的应用。Open Stack是目前最为流行的开源云操作系统。Ceph由于它的统一存储能力可以作为Open Stack的强大的后端存储，大部分Open Stack的研究者或使用者都会将Ceph作为他们的备选方案，毕竟Ceph能提供Open Stack需要的分布式对象存储、块存储、文件系统存储。Ceph可以将对象通过映射策略均匀地分散到各个存储设备上，但是Ceph仅将储存节点的剩余容量作为权重，并未考虑存储节点的异构情况，换句话说Ceph是不感知异构的。这将使Ceph的数据存放策略不能有效发挥异构存储设备的性能，同时由于Ceph采用的是强一致性的策略，客户端将数据送给主节点后，经由主节点将数据发送给从节点，当所有的副本节点都持久化成功后主节点才会回复客户端写成功信息，在此期间客户端不能进行其他的操作，这极大地限制了Ceph的写效率。同时Ceph在读对象时只读主副本，没有发挥从副本的I/O性能。

发明内容

有鉴于此，本发明的目的在于提供一种基于Ceph的读写模型优化和异构副本组合方法，用于解决Ceph不感知异构存储节点以及读写性能延迟较高的问题。

为达到上述目的，本发明提供如下技术方案：

一种基于Ceph的读写模型优化和异构副本组合方法，具体包括以下步骤：

S1：改变Ceph副本写强一致性模型为副本写弱一致性模型，当主副本节点写完毕后立即返回客户端写成功信息，降低集群的写延迟以提高集群的写性能；

S2：针对Ceph只从主副本节点读取对象的现状提出采用一种读优化方案以充分发挥从副本节点的性能，用副本节点的综合性能作为权重，来决定副本节点提供读服务的概率，充分发挥从副本的性能以提高集群的读性能；

S3：针对Ceph集群不感知异构存储节点，对象副本节点通过SSD和HDD的不同组合方式的读写性能特点充分发挥集群的异构特性，并设置对象的初始副本组合方式为1SSD+2HDD；