[发明专利]一种数据处理方法及应用该方法的分布式文件系统

说明书

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据处理方法及应用该方法的分布式文件系统。

背景技术

伴随因特网和科学计算而来的数据海量化趋势，很多因特网公司都已经面临TB甚至PB级数据管理的挑战，如何灵活、高效、可靠地存储和处理海量数据已经成为一个现实挑战。显然，任何基于单机的存储方式都是不合适的，因此存储必须是分布式存储管理方案，而这种方案主要有两个：并行数据库管理系统和分布式文件系统。前者需要专用昂贵的硬件设备，管理软件一般都是商用的，因此软硬件开销比较大，部署、使用和维护需要非常专业的人员参与，维护困难；扩展能力在几十到几百个节点之间，很难满足面向因特网的海量化数据管理对扩展性的需求。而后者是能够部署在普通商业硬件的存储管理平台，以实现硬件频繁出错的情况下仍然能够保证数据的高可靠性和可用性，这类系统有很好的开源实现，软硬件开销比较小，部署、使用和维护难度也低得多；目前其扩展能力至少可以达到4000多个服务节点。因此采用分布式文件系统作为面向因特网应用的数据底层管理系统已经成为大势所趋，并且已有很多好的实际应用实例。这类文件系统将存储系统的管理节点和存储节点分开，客户端首先通过一定的协议与管理节点联系，在管理节点的指导下直接与存储节点进行数据交换，即所谓的带外访问模式，在这种模式下，只需动态地加入存储节点就可以实现系统存储能力的水平扩展。系统的结构原理如图1所示，所有的元数据信息和存储节点的状态信息都集中保存在管理节点。

采用单管理节点的方式固然实现简单，但随着系统规模的增加，单管理节点会成为系统的瓶颈，而且也会因为单点失效问题严重损害系统的可用性。

发明内容

有鉴于此，本发明提供一种数据处理方法及应用该方法的分布式文件系统，其具体方案如下：

一种数据处理方法，应用于分布式文件系统，所述系统按照预设规则划分为多个自治单元，每个自治单元设置有主管理节点和与所述主管理节点对应的从管理节点，所述方法包括：

当所述主管理节点有效时，所述主管理节点接收客户端发送的数据请求，并将所述请求转发给数据节点，以实现所述客户端与所述数据节点的数据交换，并将自身存储的文件元数据信息同步到所述从管理节点，并与所述从管理节点维持周期性心跳通信；

当所述主管理节点失效时，数据节点将自身存储的数据节点状态信息发送给从管理节点，所述从管理节点转换为当前主管理节点，接收客户端发送的数据请求，并将所述请求转发给数据节点，以实现所述客户端与所述数据节点的数据交换。

优选的，还包括：

所述从管理节点将所述元数据信息作为检查点文件保存在自身磁盘中。

优选的，还包括：

当所述主管理节点中的元数据进行更新时，更新信息在下一次心跳通信时同步到所述从管理节点，所述从管理节点依据所述更新信息，形成新的检查点文件，并保存。

优选的，所述从管理节点依据更新信息，形成新的检查点文件的过程包括：

保存所述更新信息；

当所述保存的全部更新信息达到预设累计规模时，将所述全部更新信息更新到检查点文件，形成新的检查点文件。

优选的，所述从管理节点按照以下步骤判断所述主管理节点是否失效：

当所述数据节点在预先设定的时间阈值内没有收到所述主管理节点的周期性心跳信号时，确定所述主管理节点失效，将自身存储的数据节点状态信息发送给从管理节点；

从管理节点接收所述数据节点状态信息，确定所述主管理节点失效。

优选的，所述从管理节点转换为当前主管理节点的步骤包括：

所述从管理节点根据当前保存的更新信息生成检查点文件，并复制到内存；

设定自身为当前主管理节点。

优选的，还包括：

当所述主管理节点恢复有效时，与所述当前主管理节点通过心跳信号进行通信，请求接管服务；

所述主管理节点同步所述当前主管理节点上的元数据信息和数据节点状态信息；

当所述元数据信息和数据节点状态信息完全同步后，所述当前主管理节点转换为从管理节点，向数据节点发送主管理节点变更信息，将内存中的元数据信息持久化到磁盘，生成检查点文件。

优选的，所述系统按照文件系统中文件的命名空间划分为多个自治单元。

优选的，划分后系统中文件路径以自治域+文件域的形式进行表示，所述自治域表示文件系统根目录到自治单元的路径，所述文件域表示自治单元对应的管理节点到各个文件的路径。

优选的，所述管理节点以目录树的形式进行定位，所述管理节点对应目录数的叶节点。