[发明专利]基于ceph的动态链式存储集群实现方法

说明书

本发明公开一种基于ceph的动态链式存储集群实现方法，包括链式连接的头部集群、普通集群形成的分级存储集群，相连集群之间设置对应的清洗策略，当满足清洗策略时对集群中数据进行清洗；头部集群实现策略分发：集群间清洗策略的配置和分发，数据映射：所有业务数据IO都从头部集群经过并由头部集群映射到其他集群，高速缓冲：头部集群对数据进行高速缓冲。本发明的方法能够实现可不断迭代升级的高性能分级存储集群并且支持灵活的动态伸缩从而降低成本，从而达到规划合理、成本可预期、兼顾性能目的。

技术领域

本发明属于数据存储技术领域，设计与实现在海量数据的复杂应用场景下，对数据进行链式分级存储。

背景技术

Ceph做为优秀的分布式文件系统，具有很高的可靠性，在保证性能的同时可轻松扩展到数PB容量，完全满足在大数据及云计算的海量存储的需求，现在也成为了开源社区众人皆知的明星项目，特别是随着云计算的发展，Ceph乘上了OpenStack的春风，受到各大厂商的待见，Intel、DreamHost、SanDisk、CISCO、Yahoo等公司都或多或少的参与其中。

在目前，随着数据量的日益剧增，大量数据占据存储空间的同时，部分新的或者常用数据作为热点数据需要经常被访问，业界比较普遍的做法是将这些高频访问的数据放入高性能的存储集群中作为缓冲，其余的数据放入采用廉价设备的普通集群中即所谓的“冷热隔离”，典型的例如：ceph cache tier，在提高访问速度的同时降低企业采用高性能设备所带来的巨额成本。

申请号为CN201410756537.0，公开了一种基于分级存储的分布式文件系统实现方法，包括以以下步骤：1)对系统中的数据采用全局统一命名空间，建立无元数据服务的分布式文件系统；2)将整个分布式文件系统根据业务需要划分为不同的逻辑分区；3)对不同的逻辑分区选用不同的存储介质和存储方式；4)逻辑分区间的数据实现自动迁移，并对迁移后的数据进行数据重定位。与现有技术相比，本发明具有数据访问完全并行化、性能好、硬件成本低等优点。但是大量增加的数据势必带来大量的热点数据，想要保证这些热点数据的快速访问，最直接的方法就是增加缓冲集群的容量，然而这样势必又造成成本的不断增加；我们都清楚，在绝大多数的应用场景中，热点数据随着时间的推移热度是不断递减的，比如：新闻、气象、银行的账单流水，这些数据的热度递减产生的效应，我们称之为数据的价值递减效应，这种递减在采用热点集群也就是冷热隔离的方式并不能体现，采用人工干预的方式耗时耗力且不能动态调整。

业界已经逐渐的意识到了这方面的问题并提出各种分级存储的方案，大体的思路将适用于不同性能、不同存储能力、不同IO能力的存储设备组合分成多级(一般为三级：高性能、常规、低速高容量)，但是我们知道存储的发展日新月异，新技术层出不穷，性能不断飙升，业务对性能的需求也是水涨船高；比如，在短短几年时间SSD的4K随机IOPS从几十万已经飙升到了200万之高(群联Phison Element AIC SSD)，容量更是从几百G扩大到了8T之多(Intel最近宣布了一种代号“Ruler”的全新形态SSD，号称可以在1U空间内提供1PB(1000TB)的惊人容量)，相信这个数字还会在不断地新技术出现的未来不停的刷新，那么带来一个非常直观也现实的问题，当初声称处于分级存储最高级的高性能集群在当下已经远不能胜任其高性能的美誉，对新兴的业务(比如：超算领域)反而成为拖累。

可能随着业务需求的不断调整需要实现集群性能差异均衡化，或者需要扩大整个集群链达到更高容量的存储，这时候不得不考虑在分级集群中加入一个普通的集群，这个想法在当前的分级存储中是相当困难的，可能需要中断所有的运行业务，效果也不可预期，而且这样造成的风险无法估量。

发明内容

针对上述技术问题，本发明提出一种可不断迭代升级的高性能分级存储集群并且支持灵活的动态伸缩的技术，实现分布式存储系统在适应数据价值递减效应下的分级存储。