[发明专利]一种分布式数据副本的分级存储与调度方法

说明书

本发明公开了一种分布式数据副本的分级存储与调度方法，包括以下步骤：建立SSD‑HDD的分层式存储结构，数据的存储采用三副本的存储策略；将数据划分为冷数据、潜冷数据、热数据以及潜热数据；采用基于线段树的分配算法选择合适的存储节点；按照副本冷热属性的不同，分阶段迁移数据的副本；当数据的冷热属性变化时，将数据按照相应属性的策略进行迁移。本发明避免了因短时间大量数据的迁移而导致系统不稳定，减少数据迁移对整个存储系统的性能影响；同时为不同属性的数据提供了合适的存储和迁移方式，从而使数据对外服务达到较高的性能，并节约了成本。

技术领域

本发明涉及数据分级存储技术领域，尤其涉及一种分布式数据副本的分级存储与调度方法。

背景技术

随着网络技术的发展，数据呈现迅猛的增长态势，根据IDC的调查报告显示，在目前的数据中80%的数据都是非结构化的数据，相较于结构化数据，非结构化数据的增长速度远远高于结构化数据的增长速度。对于激增的非结构化数据，上层应用提出了更高的存储和访问性能要求：高性能、低成本以及高可扩展。进一步地，分析文件访问的局部性和不同存储设备的特性后，构建一种多层级的数据分级存储系统成为一种可行的解决方案。

分级存储系统中迁移策略是数据分级的关键，数据迁移策略将直接决定存储系统中数据的存储和访问性能。例如，发明申请号为201711024532.9，专利名称为分布式计算机存储系统中数据副本异构存储与访问方法中公开了将不同数据副本按照用户访问特点按不同属性排序存储，从而使分布式计算机存储系统中数据的多个数据副本能够快速响应用户在数据不同属性上的访问请求，提高系统可用性和访问性能。

然而，其中将所有副本的迁移同时进行，没有对数据副本的分级存储做特殊的规划，缺乏灵活性，从而导致文件迁移请求堆积或文件迁移影响上层应用对文件的访问。

发明内容

本发明的目的在于克服现有技术的不足，以分布式文件存储系统为背景，对含有多个副本的数据的分级存储策略的研究优化，提供一种分布式数据副本的分级存储与调度方法。

本发明的目的是通过以下技术方案来实现的：

一种分布式数据副本的分级存储与调度方法，包括以下步骤：

数据副本的存储：

建立SSD-HDD的分层式存储结构，数据副本的存储策略采用三副本的形式；

以数据的基本元数据信息及其在业务周期内的访问情况为依据，采用自动评估的方式将海量数据划分为冷数据、潜冷数据、热数据以及潜热数据，并根据数据分类分别存储在不同服务器上；

构建一棵线段树，采用基于线段树的分配算法选择合适的存储节点存储数据；

数据副本的调度：

按照冷热属性的不同，分阶段迁移数据副本；

每间隔一定的时间，将节点的基本信息及运行状态封装成心跳包并返回给元数据服务器；

元数据服务器收到存储服务器节点发送的心跳包后，解析并记录每个节点的基本信息及运行状态；

元数据服务器将每个存储服务器节点的基本信息及运行状态数值化，用一个unsigned long类型记录存储服务器节点评估值，每次获取心跳包后，将其中信息进行组装；

当数据属性变化时，按照每种属性的数据的存储规则，随机选择指定个数副本将其加入迁移队列中，同时从线段树中选择目的服务器区间的最大值为迁移的目的服务器节点。

进一步的，所述热数据的副本全部存储在高性能存储服务器上；所述潜热数据的副本中有两个存储在高速存储服务器上，另一个存储在大容量存储服务器上；所述潜冷数据的副本中，一个存储在高速存储服务器上，其余两个存储在大容量存储服务器上；所述冷数据的副本全部存储在大容量存储服务器上。