[发明专利]一种数据处理方法和设备

说明书

技术领域

本发明涉及通信技术领域，尤其涉及一种数据处理方法和设备。

背景技术

事务处理（TRANSACTION）是由一个或多个SQL（Structured QueryLanguage，结构化查询语言）语句序列结合在一起所形成的一个逻辑处理单元。事务处理中的每个语句都是完成整个任务的一部分工作，所有的语句组织在一起能够完成某一特定的任务。DBMS（Database Management System，数据库管理系统）在对事务处理中的语句进行处理时，是按照下面的约定来进行的，即“事务处理中的所有语句被作为一个原子工作单位，所有的语句既可成功地被执行，也可以没有任何一个语句被执行”。DBMS负责完成这种约定，即使在事务处理中应用程序异常退出，或者是硬件出现故障等各种意外情况下，也是如此。在任何意外情况下，DBMS都负责确保在系统恢复正常后，数据库内容决不会出现“部分事务处理中的语句被执行完”的情况。

HDFS（Hadoop Distributed File System，分布式文件系统）采用主/从（master/slave）架构。一个HDFS集群是由一个命名节点（Namenode）和一定数目的数据节点（Datanode）组成。Namenode是一个中心服务器，负责管理文件系统的命名空间（namespace）和客户端对文件的访问。Datanode在集群中一般是一个节点一个，负责管理节点上附带的存储。在内部，一个文件其实分成一个或多个block（块），这些block存储在Datanode集合里。Block副本的存放是HDFS可靠性和性能的关键，在大多数情况下，副本数是3，HDFS的存放策略是将一个副本存放在本地机架上的节点，一个副本放在同一机架上的另一个节点，最后一个副本放在不同机架上的一个节点。机架的错误远远比节点的错误少，这个策略不会影响到数据的可靠性和有效性。三分之一的副本在一个节点上，三分之二在一个机架上，其他保存在剩下的机架中，这一策略改进了写的性能。

现有技术中提出了多副本的分布式存储系统，数据经过分区后存储在各个数据节点上，每份数据都有多个副本，副本数量由系统参数设置。该方案的副本在各个节点分配策略与Hadoop分布式文件系统的副本分布策略一致。

上述技术方案极易导致大量数据节点被锁，从而导致大量数据死锁，如图1所示，存在8个存储设备，每个存储设备即为一个节点，假设一个事务需要对数据块2进行更新，此时事务会加载表锁操作，使整个存储设备上的数据无法进行操作，数据块2位于存储设备1、2、4上，由于表锁操作，位于存储设备1上的数据块1和存储设备4上的数据块5都将被锁，以此类推，所有存储设备都会被锁，可见，现有技术会导致一个数据块被锁时，大量不相关存储设备同时被锁，从而影响分布式存储系统所能提供的服务。

发明内容

本发明实施例提供了一种数据处理方法和设备，以减少被加锁存储设备的数量，降低存储系统出现死锁的概率。

为达到上述目的，本发明实施例提供了一种数据处理方法，对存储系统中的存储设备进行分组，每个分组中的存储设备数量与数据副本数量相同，所述方法包括：

接收客户端发送的用于请求数据加载地址的地址请求；

根据所述地址请求确定目标分组以及所述目标分组中各存储设备上的目标数据块的地址；

向所述客户端返回所述目标分组中各存储设备上的目标数据块的地址，以使所述客户端根据所述目标分组中各存储设备上的目标数据块的地址向相应分组中的存储设备发起数据加载请求。

优选的，所述对存储系统中的存储设备进行分组，具体包括：

将设置在同一机架上的存储设备划分到同一分组中；或

将接入同一交换机的存储设备划分到同一分组中；或

将处于同一网段的存储设备划分到同一分组中。

优选的，所述根据地址请求确定目标分组以及所述目标分组中各存储设备上的目标数据块的地址，具体包括：

选择所有分组中负载最小的分组作为目标分组，并从所述目标分组中的存储设备上选择未写入数据的数据块作为目标数据块；或按照分组顺序确定目标分组，并从所述目标分组中的存储设备上选择未写入数据的数据块作为目标数据块。

为达到上述目的，本发明实施例提供了一种管理设备，对存储系统中的存储设备进行分组，每个分组中的存储设备数量与数据副本数量相同，所述管理设备包括：

接收单元，用于接收客户端发送的用于请求数据加载地址的地址请求；