[发明专利]一种分布式存储系统及其存储方法

说明书

本发明公开了一种分布式存储系统及其存储方法，所述分布式存储系统主要包括：元数据管理单元，设置于内存，用于根据数据热度阈值获取内存中的冷元数据，发送至元数据写入单元；所述元数据写入单元，设置于内存，用于将所述冷元数据写入磁盘存储单元；所述磁盘存储单元，用于响应元数据访问请求，并根据预设时间间隔对所存储的元数据创建快照。

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种分布式存储系统及其存储方法。

背景技术

元数据(Metadata)，又称中介数据、中继数据，为描述数据的数据(data aboutdata)，主要是描述数据属性(property)的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。由于元数据能够协助数据检索，其访问频率较高，因此，对元数据进行存储时多是将其保存在内存中，以提高元数据的访问效率。

然而，随着元数据数量的不断增加，设备物理内存的容量已无法支持对所有元数据的内存存储。为了解决设备内存的容量上限问题，目前常用的一种方式是将内存中的部分元数据转移至磁盘中，以此缓解内存的容量问题，如Hadoop HDFS Archive提供了将文件元数据存放到内存之外的方法，即通过Archive可以将多个文件的元数据归档为一个文件，存储到磁盘。然而该方式在选择要转移的元数据时，需要人工确定元数据，并且对于归档后的文件元数据不能修改。这种方式对于需要访问磁盘中存储的元数据，不仅会影响访问速率，对于访问频率高的元数据还会降低磁盘的使用寿命。

此外，在文件数据存储方式中还存在一种SuperCache的缓存方式，即用内存保存读过的磁盘数据，如此，将访问频率高的数据存储在内存中，将访问频率低的数据存储在磁盘中，以提升文件的读取速率。然而，该方式在进程或设备故障时，并不能有效保护内存中的数据，导致文件数据丢失。由此可见，目前亟需提供一种元数据存储方案，以确保元数据的高访问速率以及对系统故障的高容错率。

发明内容

鉴于上述问题，本发明实施例提出了一种分布式存储系统及其存储方法，主要目的在于克服物理内存的容量瓶颈，提升存储系统的元数据访问速率以及容错率。

为达到上述目的，本发明实施例主要提供如下技术方案：

一方面，本发明实施例提供一种分布式存储系统，该系统具体包括：

元数据管理单元，设置于内存，用于根据数据热度阈值获取内存中的冷元数据，发送至元数据写入单元；

所述元数据写入单元，设置于内存，用于将所述冷元数据写入磁盘存储单元；

所述磁盘存储单元，用于响应元数据访问请求，并根据预设时间间隔对所存储的元数据创建快照。

另一方面，本发明实施例提供一种分布式存储系统的存储方法，该方法包括：

根据元数据写入请求，判断内存的可用存储空间是否小于阈值；

若小于所述阈值，则利用元数据管理单元将内存中的冷元数据移动至元数据写入单元；

根据预置时间间隔，将元数据写入单元中的冷元数据通过预置接口批量写入磁盘存储单元，所述磁盘存储单元用于响应元数据访问请求的存储区域。

另一方面，本发明实施例提供一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述的分布式存储系统的存储方法。

另一方面，本发明实施例提供一种电子设备，所述电子设备中包括处理器和存储器；存储器，用于存储程序；处理器，耦合至所述存储器，用于运行所述程序，以执行上述分布式存储系统的存储方法。