[发明专利]一种数据分布存储方法和装置

说明书

技术领域

本发明涉及分布式共享存储技术领域，更具体的说是涉及一种数据分布存储方法和装置。

背景技术

云计算是一种典型的网络计算模式，强调在虚拟计算环境下运行大规模应用的可伸缩性和可用性。

随着数据密集型计算的飞速发展和对信息处理能力要求的逐渐提高，数据密集型应用的数据在云计算环境下的应用也越发广泛。数据密集型应用的数据一般是存储在分布式共享存储环境中。然而在数据分布共享存储环境下，影响数据密集型计算性能的主要因素是数据的网络传输。为了减少数据的网络传输，数据密集型计算往往需要将计算逻辑分配到存储相应数据所在的服务器上进行计算，然后由服务器将计算结果返回。

在现有的分布式共享存储环境中，为了满足数据密集型应用的数据的可用性要求，一般是将需要存储的数据分为固定大小的数据块，并为每一块数据复制一定数量的数据块副本，并将这些切分出的数据块和复制出的数据块分布存储到网络中不同的存储服务器中。通过该种多副本相互备份的方式可以提高数据可用性。同时，通过多副本的大规模并行数据访问，也满足了用户对于数据访问速度的要求。然而这种存储方式虽然满足了用户的服务质量需求，但是对于数据密集型应用而言，却可能会带来资源效率利用率低的问题，从而造成资源浪费。

发明内容

有鉴于此，本发明提供一种数据分布存储方法和装置，以为减少分布式系统中的资源消耗，实现系统节能。

为实现上述目的，本发明提供如下技术方案：一种数据分布存储方法，应用于分布式存储系统中，所述分布式存储系统中包括核心服务器组和至少一个外围服务器组，所述核心服务器组和所述外围服务器组均包括多个数据节点，核心服务器组中与所述外围服务器组中不包括同一个数据节点，所述方法包括：

获取待存储业务的第一数据块集合和至少一个第二数据块集合，其中，所述第一数据块集合中包括：对所述待存储业务的业务数据进行切分得到的多个第一数据块；所述第二数据块集合中包括：多个所述数据块分别复制的多个第一数据块副本；

依据预置的均衡分布规则，并结合所述第一数据块的数量、所述核心服务器组中数据节点的数量以及所述核心服务器组中各个数据节点内当前已存储的数据块的数量，将所述多个第一数据块分别存储至所述核心服务器组的数据节点中；

将所述第二数据块集合中的多个第一数据块副本分别存储至所述外围服务器组中的所述多个数据节点内。

另一方面，本发明还提供了一种数据分布存储装置，所述装置应用于分布式存储系统中，所述分布式存储系统中包括核心服务器组和至少一个外围服务器组，所述核心服务器组和所述外围服务器组均包括多个数据节点，核心服务器组中与所述外围服务器组中不包括同一个数据节点，所述装置包括：

数据获取单元，用于获取待存储业务的第一数据块集合和至少一个第二数据块集合，其中，所述第一数据块集合中包括：对所述待存储业务的业务数据进行切分得到的多个第一数据块；所述第二数据块集合中包括：多个所述数据块分别复制的多个第一数据块副本；

核心存储单元，用于依据预置的均衡分布规则，并结合所述第一数据块的数量、所述核心服务器组中数据节点的数量以及所述核心服务器组中各个数据节点内当前已存储的数据块的数量，将所述多个第一数据块分别存储至所述核心服务器组的数据节点中；

外围存储单元，用于将所述第二数据块集合中的多个第一数据块副本分别存储至所述外围服务器组中的所述多个数据节点内。

经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种数据分布存储方法和装置，由于将分布式存储系统中的多个数据节点分别划归为核心服务器组和至少一个外围服务器组内。在获取到待存储业务的第一数据块集合和至少一个第二数据块集合后，将第一数据块集合中的多个数据块存储至核心服务器组的多个数据节点中，而将第二数据块集合中的多个数据块副本存储至外围服务器组中的数据节点中。这样，当业务的数据块未发生损坏或失效等异常情况时，可以将外围服务器组中存储业务的数据块副本的数据节点设置为关闭或处于休眠状态，以减少设备损耗以及电力开销，无需使得所有数据节点在任意时刻均处于运行状态，从而减少资源消耗，实现了系统节能的目的；而当某个数据块损坏或失效等异常情况出现，或者是核心服务器负载较大时，则可以通过资源调度来开启外围服务器组中相应数据节点，从而可以在满足了数据的可访问性的前提下，最大限度实现节能。

附图说明