[发明专利]数据分层存储处理方法、装置和存储设备

说明书

技术领域

本发明涉及存储技术，尤其涉及一种数据分层存储处理方法、装置和存储设备。

背景技术

分层存储指的是，现有的存储设备可以设置成磁盘分层的方式，将不同类型的磁盘设置在不同的层级上，根据数据的访问需求，数据可以在不同层之间迁移。例如，固态硬盘(solid state disk，简称：SSD)属于访问速度较高的高层级磁盘，硬盘驱动器(Hard Disk Drive，简称：HDD)属于访问速度较低的低层级磁盘，在分层存储的实现中，将不常被访问的数据存储到访问速度较慢的磁盘层例如HDD中，而将经常访问的数据存储到访问速度快的磁盘层例如SSD中，以使得在访问常用数据时，提高数据的读取速度以及存储设备的访问效率。

磁盘通常是以数据块的形式存储数据的，磁盘中设置有多个尺寸相同的存储单元，每个存储单元用于存储一个数据块。当数据在不同层之间迁移时，也是以数据块整体迁移的，即使该数据块中只有部分数据的访问频度提高到设定阈值(称为“热数据”)而需要迁移到高层级磁盘，实际上也是数据块整体迁移，即，数据块中的“冷数据”(访问频度仍然较低的数据)跟随“热数据”一起移动。上述的数据块通常称为“迁移单元”，表示是以整体单元的形式进行迁移的。此外，存储设备中还包括用于存储元数据的元数据存储资源，该元数据是与迁移单元对应的信息，例如，迁移单元的存储地址等，且每个迁移单元具有一份对应的元数据，所以元数据存储资源的消耗量是与迁移单元的数量成正比的。

目前的“迁移单元”的尺寸通常都是固定的，例如固定设置为256MB。但是，这种设置固定尺寸迁移单元的方式存在如下问题：如果设定迁移单元的尺寸较大，元数据存储资源消耗较小，但是会存在上述的冷数据跟随热数据移动的现象，会使得昂贵的高层级存储介质的存储空间造成浪费，空间利用率低；如果设定迁移单元的尺寸较小，自然会减少高层级存储介质的浪费现象，但是耗用的元数据存储资源就越多。

发明内容

本发明的第一个方面是提供一种数据分层存储处理方法，目的是提高存储介质的利用率，以及控制元数据存储资源消耗的合理性。

本发明的另一个方面是提供一种数据分层存储处理装置，目的是提高存储介质的利用率，以及控制元数据存储资源消耗的合理性。

本发明的又一个方面是提供一种存储设备，目的是提高存储介质的利用率，以及控制元数据存储资源消耗的合理性。

本发明提供的数据分层存储处理方法，包括：

在低层级磁盘的迁移单元迁移到高层级磁盘时，将所述迁移单元分裂为多个子迁移单元，并分别检测各所述子迁移单元的数据访问频度；

当检测到所述子迁移单元的数据访问频度低于设定阈值时，将所述子迁移单元迁移至所述低层级磁盘；

当检测到所述多个子迁移单元全部迁移到所述低层级磁盘中时，则将所述多个子迁移单元合并为所述迁移单元。

本发明提供的数据分层存储处理装置，包括：

资源调整单元，用于将所述迁移单元分裂为多个子迁移单元，以及，用于将所述多个子迁移单元合并为所述迁移单元；

热度识别单元，用于分别检测各所述子迁移单元的数据访问频度；

迁移控制单元，用于将低层级磁盘的迁移单元迁移到高层级磁盘；以及，当所述热度识别单元检测到所述子迁移单元的数据访问频度低于设定阈值时，将所述子迁移单元迁移至所述低层级磁盘；以及，用于检测所述多个子迁移单元全部迁移到所述低层级磁盘中。

本发明提供的存储设备，包括低层级磁盘和高层级磁盘，还包括本发明所述的数据分层存储处理装置；所述数据分层存储处理装置分别与所述低层级磁盘、高层级磁盘连接。

本发明数据分层存储处理方法的技术效果是：通过在迁移单元迁移到高层级磁盘时，分别检测各子迁移单元的数据访问频度，更容易识别出热数据，并且能够在识别出冷数据时，将该冷数据对应的子迁移单元迁移至低层级磁盘，从而减少了高层级磁盘的存储空间浪费现象，使得高层级磁盘只存储热数据，提高了存储介质的利用率；并且，还能够在各子迁移单元全部迁移到低层级磁盘时进行整合，将各子迁移单元合并为迁移单元，从而及时减少了迁移单元的数量，有效控制了元数据存储资源的消耗。