[发明专利]文件数据的分布式多副本存储方法

说明书

本申请提出文件数据的分布式多副本存储方法。方法包括：预设多个文件访问频率级别以及每个文件访问频率级别对应的文件副本数，其中，文件访问频率级别越高对应的文件副本数越多；接收新上传的文件，设置文件的文件访问频率级别为最高级别；利用分布式文件系统客户端对文件进行分片，以及按照最高级别的文件访问频率对应的文件副本数，对文件的分片执行多副本存储处理；维护文件的文件访问频率；当发现文件的文件访问频率级别降低时，根据降低后的级别对应的文件副本数，确定文件需删除的副本数，根据该需删除的副本数，对文件的所有分片的副本进行与该需删除的副本数相符的删除处理。本申请降低了文件数据的分布式多副本存储成本。

技术领域

本发明涉及分布式文件存储技术领域，尤其涉及文件数据的分布式多副本存储方法。

背景技术

Hadoop是一个并行处理海量数据的工具。HDFS(the Hadoop Distributed FileSystem，Hadoop分布式文件系统)主要用于大数据文件的分析。其特点是将一个超大文件分解成多个小文件，部署到多台低配置机器上进行存储和分析。

分布式多副本策略指的是，对于由超大文件分解成的多个小文件中的每个小文件，分别创建多个副本，该多个副本分别存储在不同的机器上。

分布式多副本策略的缺陷主要体现在：

一、HDFS整体存储成本较高。以常用的3副本策略为例，实际所需存储空间为存储数据容量的3倍，直接增加了存储硬件成本。

二、HDFS处理效率降低。多副本策略增加了文件索引的建立时间，并且增加了NameNode(文件记录节点)的内存消耗。其中，NameNode用于创建并存储每个副本的描述信息。

三、负载均衡能力不足。多副本策略对系统中的数据均维持相同数目的副本数量而不是区别对待，导致系统无法根据需求动态调整副本数目。

发明内容

本发明提供文件数据的分布式多副本存储方法，以降低文件数据的分布式多副本存储成本。

本发明的技术方案是这样实现的：

一种文件数据的分布式多副本存储方法，预先设置多个文件访问频率级别，设置每个文件访问频率级别对应的文件副本数，其中，文件访问频率级别越高对应的文件副本数越多，该方法包括：

接收到新上传的文件，设置所述文件的文件访问频率级别为最高级别；

利用分布式文件系统客户端对所述文件进行分片，以及按照最高级别的文件访问频率对应的文件副本数，对所述文件的分片执行多副本存储处理；

维护所述文件的文件访问频率；

当发现所述文件的文件访问频率级别降低时，根据降低后的级别对应的文件副本数，确定所述文件需删除的副本数，根据该需删除的副本数，对所述文件的所有分片的副本进行与该需删除的副本数相符的删除处理。

预先为每个级别设置一个文件描述队列；

所述设置所述文件的文件访问频率级别为最高级别进一步包括：

将所述文件的文件描述信息放入最高级别的文件访问频率对应的文件描述队列中，所述文件描述信息包括：文件名和文件的接收时间；

所述对所述文件的分片执行多副本存储处理包括：

为所述文件的每个分片分配存储该分片的每个副本的数据节点，将每个分片的每个副本分别存储到对应的数据节点上。

所述方法进一步包括：

接收到用户输入的读文件指令，该指令携带时间段，根据该时间段，在文件描述队列中查找对应的文件名；