[发明专利]一种数据处理方法和装置

说明书

技术领域

本发明涉及分布式共享存储技术领域，更具体的说是涉及一种数据处理方法和装置。

背景技术

云计算是一种典型的网络计算模式，强调在虚拟计算环境下运行大规模应用的可伸缩性和可用性。随着数据密集型计算的飞速发展和对信息处理能力要求的逐渐提高，数据密集型应用的数据在云计算环境下的应用也越发广泛。

数据密集型应用的数据一般是存储在分布式共享存储环境中。在分布式共享存储环境下，为了满足数据密集型应用的数据的可用性要求，一般是将需要存储的数据分为固定大小的数据块，并为每一块数据复制一定数量的数据块副本，并将这些切分出的数据块和复制出的数据块分布存储到网络中不同的存储服务器中。通过该种多副本相互备份的方式可以提高数据可用性。同时，通过多副本的大规模并行数据访问，也满足了用户对于数据访问速度的要求。然而目前的分布式共享环境下的存储方式却可能会存在较多的资源浪费。

同时，在数据分布共享存储环境下，影响数据密集型计算性能的主要因素是数据的网络传输。为了减少数据的网络传输，数据密集型计算往往需要将计算逻辑分配到存储相应数据所在的服务器上进行计算，然后由服务器将计算结果返回。但是由于数据密集型计算时，系统会根据数据处理请求，优先将计算逻辑分配给存储有原始数据块（即直接切分得到的数据块）的服务器上，只有当存储有原始数据块的服务器出现故障时，才会将计算逻辑分配给存储有数据块副本的服务器中，从而使得系统中某些服务器的负载较大，数据处理效率低，进而影响到对系统的数据访问速度。

因此，本领域技术人员迫切需要解决的技术问题是，如何在保证分布式系统服务质量的前提下，减少资源消耗并提高数据处理效率。

发明内容

有鉴于此，本发明提供一种数据处理方法和装置，以在保证分布式系统正常的数据访问的前提下，减少系统的能耗，实现节能的目的。

为实现上述目的，本发明提供如下技术方案：一种数据处理方法，应用于分布式存储系统中，所述分布式存储系统中包括核心服务器组和至少一个外围服务器组，所述核心服务器组和所述外围服务器组均包括多个数据节点，核心服务器组中与所述外围服务器组中不包括同一个数据节点，其中，所述核心服务器组的数据节点中存储有至少一个业务的多个数据块，且核心服务器组中不同的数据节点内存储有不同的数据块；所述外围服务器组的数据节点中存储有所述业务的多个数据块副本，且所述外围服务器组中不同的数据节点存储有不同的数据块副本，所述数据块副本是对所述数据块进行复制得到的，所述方法包括：

依据当前针对业务的多个处理请求，判断核心服务器组中，是否存在需要处理数据的数据处理量达到第一预设阈值的第一目标数据节点；

当存在所述第一目标数据节点时，获取所述处理请求当前的处理状态信息以及当前处理所述处理请求所需的第一数据处理量；

依据所述处理请求的第一数据处理量，从所述多个处理请求中确定出至少一个待迁移处理请求；

根据待迁移处理请求的处理状态信息，将所述待迁移处理请求迁移至外围服务器组的第二目标数据节点中，其中，所述第二目标数据节点为外围服务器中，存储有所述待迁移处理请求所请求处理的业务的数据块副本的数据节点。

另一方面，本发明还提供了一种数据处理装置，应用于分布式存储系统中，所述分布式存储系统中包括核心服务器组和至少一个外围服务器组，所述核心服务器组和所述外围服务器组均包括多个数据节点，核心服务器组中与所述外围服务器组中不包括同一个数据节点，其中，所述核心服务器组的数据节点中存储有至少一个业务的多个数据块，且核心服务器组中不同的数据节点内存储有不同的数据块；所述外围服务器组的数据节点中存储有所述业务的多个数据块副本，且所述外围服务器组中不同的数据节点存储有不同的数据块副本，所述数据块副本是对所述数据块进行复制得到的，所述装置包括：

第一判断单元，用于依据当前针对业务的多个处理请求，判断核心服务器组中，是否存在需要处理数据的数据处理量达到第一预设阈值的第一目标数据节点；

信息获取单元，用于当存在所述第一目标数据节点时，获取所述处理请求当前的处理状态信息以及当前处理所述处理请求所需的第一数据处理量；

请求确定单元，用于依据所述处理请求的第一数据处理量，从所述多个处理请求中确定出至少一个待迁移处理请求；

迁移单元，用于根据待迁移处理请求的处理状态信息，将所述待迁移处理请求迁移至外围服务器组的第二目标数据节点中，其中，所述第二目标数据节点为外围服务器中，存储有所述待迁移处理请求所请求处理的业务的数据块副本的数据节点。