[发明专利]一种数据处理方法及应用该方法的分布式文件系统

权利要求书

1.一种数据处理方法，其特征在于，应用于分布式文件系统，所述系统按照预设规则划分为多个自治单元，每个自治单元设置有主管理节点和与所述主管理节点对应的从管理节点，所述方法包括：

当所述主管理节点有效时，所述主管理节点接收客户端发送的数据请求，并将所述请求转发给数据节点，以实现所述客户端与所述数据节点的数据交换，并将自身存储的文件元数据信息同步到所述从管理节点，并与所述从管理节点维持周期性心跳通信；

当所述主管理节点失效时，数据节点将自身存储的数据节点状态信息发送给从管理节点，所述从管理节点转换为当前主管理节点，接收客户端发送的数据请求，并将所述请求转发给数据节点，以实现所述客户端与所述数据节点的数据交换。

2.根据权利要求1所述的方法，其特征在于，还包括：

所述从管理节点将所述元数据信息作为检查点文件保存在自身磁盘中。

3.根据权利要求2所述的方法，其特征在于，还包括：

当所述主管理节点中的元数据进行更新时，更新信息在下一次心跳通信时同步到所述从管理节点，所述从管理节点依据所述更新信息，形成新的检查点文件，并保存。

4.根据权利要求3所述的方法，其特征在于，所述从管理节点依据更新信息，形成新的检查点文件的过程包括：

保存所述更新信息；

当所述保存的全部更新信息达到预设累计规模时，将所述全部更新信息更新到检查点文件，形成新的检查点文件。

5.根据权利要求4所述的方法，其特征在于，所述从管理节点按照以下步骤判断所述主管理节点是否失效：

当所述数据节点在预先设定的时间阈值内没有收到所述主管理节点的周期性心跳信号时，确定所述主管理节点失效，将自身存储的数据节点状态信息发送给从管理节点；

从管理节点接收所述数据节点状态信息，确定所述主管理节点失效。

6.根据权利要求5所述的方法，其特征在于，所述从管理节点转换为当前主管理节点的步骤包括：

所述从管理节点根据当前保存的更新信息生成检查点文件，并复制到内存；

设定自身为当前主管理节点。

7.根据权利要求6所述的方法，其特征在于，还包括：

当所述主管理节点恢复有效时，与所述当前主管理节点通过心跳信号进行通信，请求接管服务；

所述主管理节点同步所述当前主管理节点上的元数据信息和数据节点状态信息；

当所述元数据信息和数据节点状态信息完全同步后，所述当前主管理节点转换为从管理节点，向数据节点发送主管理节点变更信息，将内存中的元数据信息持久化到磁盘，生成检查点文件。

8.根据权利要求1所述的方法，其特征在于，所述系统按照文件系统中文件的命名空间划分为多个自治单元。

9.根据权利要求8所述的方法，其特征在于，划分后系统中文件路径以自治域+文件域的形式进行表示，所述自治域表示文件系统根目录到自治单元的路径，所述文件域表示自治单元对应的管理节点到各个文件的路径。

10.根据权利要求9所述的方法，其特征在于，所述管理节点以目录树的形式进行定位，所述管理节点对应目录数的叶节点。

11.一种分布式文件系统，其特征在于，包括：客户端、数据节点、按照预设规则划分为多个自治单元和对应每一自治单元设置的主管理节点和与所述主管理节点对应的从管理节点，其中：

当所述主管理节点有效时，所述主管理节点接收客户端发送的数据请求，并将所述请求转发给数据节点，以实现所述客户端与所述数据节点的数据交换，并将自身存储的文件元数据信息同步到所述从管理节点，并与所述从管理节点维持周期性心跳通信；

当所述主管理节点失效时，数据节点将自身存储的数据节点状态信息发送给从管理节点，所述从管理节点转换为当前主管理节点，接收客户端发送的数据请求，并将所述请求转发给数据节点，以实现所述客户端与所述数据节点的数据交换。