[发明专利]一种分布式文件系统中的数据存储方法和装置

说明书

技术领域

本申请涉及分布式文件系统技术领域，特别是涉及一种分布式文件系统中的数据存储方法和装置。

背景技术

随着Internet的不断发展，互联网上的数据成爆发性增长，形成海量数据。为了适应海量数据的存储需求，分布式文件系统由此应运而生。所谓分布式文件系统，就是文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与本地节点相连。分布式文件系统通常采用带外模式，即，文件元数据信息和文件内容数据没有存放在一起，而文件内容数据被分割成块后存储在多台服务器上。例如，待存储的文件A有10MB，如果数据块的分割标准为2MB，则文件A被分割成5个2MB的数据块，将5个数据块存放在不同的服务器上。另外，为了提升分布式文件系统的可靠性，在存储文件的同时，还存储该文件的多个副本，以便当该文件损坏时，还可以使用其对应的副本。如，针对上述文件A，如果该文件A有两个副本，同样将两个副本按照文件A的分割方式各分割成5个副本数据块，并将总共的10个副本数据块存放在不同的服务器上。

针对于文件以及文件副本的存储，现有技术提供了多种分布式文件系统，在每一种分布式文件系统中，其数据的存储方法也各不相同。例如，HDFS(Hadoop Distributed File System)分布式文件系统中采用本地优先策略的数据存储方法。

但是，发明人在研究中发现，虽然目前已出现了多种分布式文件系统，并且，每一种分布式文件系统下的数据存储方法也各不相同。但是，这些数据存储方法都无法保证数据被均衡地分布在分布式文件系统中的每一个服务器上。尤其当分布式文件系统由同构服务器集群组成时，所谓同构服务器即为具有相同物理配置的服务器，由于所有的同构服务器的性能和处理能力都是相同的，此时，如果海量的文件及文件副本被不均衡地分布在同构服务器集群上，会造成一部分服务器负载过大，甚至导致服务器宕机；同时也会造成另一部分服务器没有得到充分利用，进而造成资源浪费。

发明内容

为了解决上述技术问题，本申请实施例提供了一种分布式文件系统中的数据存储方法和装置，以避免服务器宕机的同时，节约系统资源。

本申请实施例公开了如下技术方案：

一种分布式文件系统中的数据存储方法，包括：在分布式文件系统的根节点的所有下一级子节点中，查找数据存储量最小的子节点，其中，所述下一级子节点包括路由设备节点和/或服务器节点；当数据存储量最小的下一级子节点为服务器节点时，将当前待存储的数据存储到查找到的服务器节点；当数据存储量最小的下一级子节点为路由设备节点时，在查找到的路由设备节点的所有下一级子节点中，继续查找数据存储量最小的子节点，直到查找到的数据量最小的子节点为服务器节点为止，将当前待存储的数据存储到查找到的服务器节点。

优选的，所述当数据存储量最小的下一级子节点为服务器节点时，将当前待存储的数据存储到查找到的服务器节点包括：如果数据存储量最小的下一级子节点为至少两个服务器节点，从所述至少两个服务器节点中任意选择一个；将当前待存储的数据分配给选择的服务器节点。

优选的，所述当数据存储量最小的下一级子节点为路由设备节点时，在查找到的路由设备节点的所有下一级子节点中，继续查找数据存储量最小的子节点，直到查找到的数据量最小的子节点为服务器节点为止，将当前待存储的数据存储到查找到的服务器节点包括：如果数据存储量最小的下一级子节点为至少两个路由设备节点，从所述至少两个路由设备节点中任意选择一个；在选择的路由设备节点的所有下一级子节点中，继续查找数据量最小的子节点，直到查找到的数据量最小的子节点为服务器节点为止，将当前待存储的数据分配给查找到的服务器节点。

优选的，所述在分布式文件系统的根节点的所有下一级子节点中，查找数据存储量最小的子节点包括：如果分布式文件系统的根节点的所有下一级子节点为服务器节点，获取所有服务器节点的数据存储量；比较所有服务器节点的数据存储量大小，获得数据存储量最小的子节点。

优选的，所述在分布式文件系统的根节点的所有下一级子节点中，查找数据存储量最小的子节点包括：如果分布式文件系统的根节点中的下一级子节点包括路由设备节点，获取所述路由设备节点下属的服务器节点的数据存储量；对获取的服务器节点的数据存储量累加求和，得到所述路由设备节点的数据存储量；比较根节点的所有下一级子节点的数据存储量大小，获得数据存储量最小的子节点。