[发明专利]一种去中心化的分布式异构存储系统数据分布方法

说明书

本发明公开了一种去中心化的分布式异构存储系统数据分布方法，它包括以下步骤：1、将数据对象分类；2、将存储设备分类；3、将存储数据分成不同的“放置组集群”，每种存储设备的类型对应于一类“放置组集群”；4、计算待存入的每种数据对象应该放置到不同类型“放置组集群”的比例；5、利用哈希算法确定待存入的数据对象属于“放置组集群”中的哪一个“放置组”；6、利用存储系统的数据分布算法，将每个“放置组”中的数据对象存储到多个对应的存储设备中；7、在系统运行过程中，根据数据对象的访问特征计算迁移阈值，并动态迁移数据对象。本发明的优点是：保持了存储系统的性能、负载均衡和可扩展性，又减少了对固态硬盘的写操作次数。

技术领域

本发明属于分布式计算机存储技术领域，具体涉及一种去中心化的分布式异构存储系统数据分布方法。

背景技术

在大数据应用、科学计算和云计算平台中，可靠并且可扩展的存储系统对系统性能有着至关重要的作用。随着数据量增大(PB级别)，存储系统的数据分布策略必须保证性能和可扩展性。去中心化的数据分布策略，比如Ceph，利用存储设备本身的处理能力提供可靠的对象存储系统。固态硬盘(SSD)读写性能优于传统的机械硬盘(HDD)，越来越被广泛地应用到存储系统中，形成大规模分布式异构存储系统。此外，新型归档硬盘(Archive HDD)也被越来越多地用在数据中心，这类硬盘拥有更大的容量，适合大数据存储，但是其读写速度比传统的机械硬盘更慢。因此，存储系统的数据分布策略必须考虑固态硬盘的“写耐受性”和各类硬盘的性能差异，同时保证系统的可扩展性和负载均衡，因为过多的写操作会加速固态硬盘存储介质的损耗，放置过多的数据在归档硬盘中会使系统读写性能受影响。

目前，有许多研究致力于工作流系统的数据分布和任务调度。比如在科学计算中，“工作流管理系统”会更具执行计算站点的存储资源和计算能力分配计算任务。根据工作流模型中任务的依赖关系，可以确定这些任务所需数据的数据量大小，然后将不同阶段的计算任务分配到不同的计算站点，分配方案中主要考虑减少不同站点的远程访问传输开销。Ceph利用存储设备自身的通信能力，设计出了一种新的数据分布方法，该方法分为两步，第一步利用哈希算法，将数据对象映射到“放置组”，哈希函数的输入就是数据对象的全局唯一的标识符，哈希函数的输出结果相同的数据对象被放置到同一个“放置组”。第二步利用伪随机哈希算法，将每个“放置组”分布到多个存储设备。该数据分布方法没有考虑存储系统的异构特性，这样会导致对固态硬盘产生密集的写操作。还有一些技术利用固态硬盘提升中心化的存储性能，这种中心化的数据分布策略使得系统不具备扩展性，不适合超大规模的数据应用。

发明内容

针对现有技术存在的不足，本发明所要解决的技术问题是提供一种去中心化的分布式异构存储系统数据分布方法，它通过分析数据对象的访问方式来保持存储系统的性能、负载均衡和可扩展性，同时减少对固态硬盘的写操作。

本发明所要解决的技术问题是通过这样的技术方案实现的，本发明的第一种方法包括以下步骤：

步骤1、在程序的执行过程中，统计每个数据对象被读/写的次数，将读写次数转换为权值，作为数据的访问模式；根据数据的访问模式，将数据对象分类；

步骤2、根据存储设备的容量和读写性能，将存储设备分类；

步骤3、将存储数据分成不同的“放置组集群”，“放置组集群”包含多个“放置组”，每种存储设备的类型对应于一类“放置组集群”；

步骤4、根据存储系统的负载均衡目标和性能指标，计算待存入的每种数据对象应该放置到不同类型“放置组集群”的比例；

步骤5、利用哈希算法确定待存入的数据对象属于“放置组集群”中的哪一个“放置组”；

步骤6、利用存储系统的数据分布算法，将每个“放置组”中的数据对象存储到多个对应的存储设备中；固态硬盘的“放置组”会被分配到固态硬盘，机械硬盘的“放置组”会被分配到机械硬盘。