[发明专利]一种基于分布式存储系统的衰减式分层存储系统及方法

说明书

本发明涉及一种基于分布式存储系统的衰减式分层存储系统及方法，涉及分布式存储技术领域。本发明利用信息系统中数据的时效性，将流入系统的数据以不同的热度进行标识，将大量不再被访问的“冷”数据迁移出宝贵的高速存储介质，转而使用价格低廉、容量大的低速存储介质进行保存，以使访问频繁的“热”数据借助高速存储介质实现与用户的快速交互。随着数据的迁移，高速性能层大量变“冷”的数据往低速容量层移动，而低速容量层少量变“热”的数据往高速性能层移动，这样既满足了大规模存储系统中对访问速率的高性能需求，也满足了海量数据对存储介质的大容量需求，同时有效减少了系统的总拥有成本。

技术领域

本发明涉及分布式存储技术领域，具体涉及一种基于分布式存储系统的衰减式分层存储系统及方法。

背景技术

信息存储系统中，数据具有明显的生命周期特征，且时效性较强。在大型数据中心中，系统的总容量一般为数个PB，当多路数据持续流入存储系统中时，大部分数据在初始阶段较为活跃，活跃期过后数据的访问次数便逐渐减少，甚至鲜有使用，但仍然需要长期保存。

现有的持久性存储介质中，以闪存芯片作为存储体的固态硬盘性能较高，不论是数据的连续访问特性还是随机访问特性，其相比较于机械硬盘都有明显的优势。一方面，固态硬盘突出的性能优势为众多小容量设备带来了卓越的性能体验；另一方面，其高昂的存储成本让很多大规模存储系统望而却步。若不加以优化而直接使用传统方式构建高性能存储池，将使以分布式为例的大规模存储系统带来高额的硬件开销。因此，现有大规模存储系统中存在高性能、大容量的存储需求与低存储开销间的矛盾。

发明内容

(一)要解决的技术问题

本发明要解决的技术问题是：如何针对分布式存储系统提出一种同时满足高性能、大容量需求的基于分布式存储系统的衰减式分层存储系统及方法。

(二)技术方案

为了解决上述技术问题，本发明提供了一种基于分布式存储系统的衰减式分层存储系统，所述分布式存储系统的存储分层数至少包括2层，其中最高性能层称为第一性能层，次高性能层称为第二性能层，以此类推；在每两个性能层之间，包含有基于分布式存储系统的衰减式分层存储系统的两个模块：热度识别模块和迁移控制模块；

所述热度识别模块用于将不同访问频率的数据以访问时序为基础进行衰减统计，从而将用户数据进行不同热度的区分；所述迁移控制模块用于控制各存储层间的数据迁移，以使不同热度的数据存储至对应性能的存储层中。

优选地，所述热度识别模块具体用于对存入分布式存储系统的对象分片进行统计标记，统计内容包含对象分片的访问次数和访问时间，所述访问次数表征对象分片的访问频率，访问时间表征对象分片的新近度；每个对象分片的热度通过对访问频率进行加权统计，并根据访问时间的顺序进行衰减计算得出；对于每个对象分片的热度统计及加权计算在一个统计周期内进行，超出统计周期时，对象分片的权重将被设定为0；在统计周期内，时间被等分为多个时间片，即子统计周期，每个子统计周期的权重从当前时间点至统计周期末尾逐渐衰减至0；根据每个对象分片的访问次数和当前子统计周期的权重，累积计算求和并确定对象分片的热度。

优选地，所述迁移控制模块实现了对不同热度的对象分片进行迁移管理；数据有两个迁移方向，一个是从高性能层迁移至低性能层，另一个是从低性能层迁移至高性能层；数据的优先存储位置有两种可供选择，即数据优先存储至高性能层，待数据变冷之后迁移至低性能层；或者数据优先存储至低性能层，待数据变热之后存储至高性能层；数据的迁移可发生在任意两个相邻的存储层之间，也可发生在不相邻的存储层之间。

优选地，所述迁移控制模块在实现迁移管理时，数据的迁移可发生在任意两个相邻的存储层之间，也可发生在不相邻的存储层之间。