[发明专利]基于分布式文件系统的数据处理方法、设备和系统

说明书

技术领域

本发明涉及通信技术领域，尤其涉及一种基于分布式文件系统的数据处理方法、设备和系统。

背景技术

分布式文件系统(Hadoop Distributed File System，HDFS)是一个主从结构体系，包括一个主控节点和若干个数据节点，其中，数据节点主要执行来自主控节点的指示包括块的创建，删除，和复制，将文件块存储在本地文件系统中，保存了文件块的元数据，同时周期性地将所有存在的文件块信息发送给主控节点。

由于HDFS中主控节点只有一个，因此，一旦主控节点发生故障，整个HDFS系统将发生瘫痪，造成了单点瓶颈，影响整个系统的可用性。因此，现有技术通过在HDFS系统中配置一个备用主控节点，当原有的主控节点即主用主控节点出现故障后，通过将主用主控节点的文件导入到备用主控节点中，将备用主控节点作为新的主用主控节点与数据节点继续通信，从而保证HDFS系统的正常工作。

但是，由于主用主控节点的文件量非常大，往备用主控节点导入数据的时间过长，从而导致主用主控节点与数据节点的交互需要中断很长时间，从而使整个HDFS系统无法满足应用需求。

发明内容

针对现有技术的上述缺陷，本发明实施例提供一种基于分布式文件系统的数据处理方法、设备和系统。

本发明一方面提供一种基于分布式文件系统的数据处理方法，包括：

数据节点采用双主控节点工作模式与主用主控节点和备用主控节点同时进行通信交互的过程中，监测所述主用主控节点和所述备用主控节点的工作状态，其中，所述通信交互包括：与所述主用主控节点进行信令交互，与所述主用主控节点和所述备用主控节点同时进行数据交互；

所述数据节点若确定所述主用主控节点出现故障且所述备用主控节点正常工作，则向所述备用主控节点发送单主控节点工作模式切换指令；

所述数据节点接收所述备用主控节点返回的第一确认响应，并采用单主控节点工作模式继续与所述备用主控节点进行所述信令交互和所述数据交互。

本发明另一方面提供一种基于分布式文件系统的数据处理方法，包括：

备用主控节点采用双主控节点工作模式与数据节点进行通信交互的过程中，接收所述数据节点发送的单主控节点工作模式切换指令，其中，所述通信交互包括：所述数据节点与所述主用主控节点进行信令交互，与所述主用主控节点和所述备用主控节点同时进行数据交互，所述单主控节点工作模式切换指令是所述数据节点在所述通信交互过程中监测到所述主用主控节点出现故障且所述备用主控节点正常工作时所发送的；

所述备用主控节点向所述数据节点返回第一确认响应，以采用单主控节点工作模式继续与所述数据节点进行所述信令交互和所述数据交互。

本发明又一方面提供一种数据节点，包括：

第一监测模块，用于采用双主控节点工作模式与主用主控节点和备用主控节点同时进行通信交互的过程中，监测所述主用主控节点和所述备用主控节点的工作状态，其中，所述通信交互包括：与所述主用主控节点进行信令交互，与所述主用主控节点和所述备用主控节点同时进行数据交互；

切换模块，用于若确定所述主用主控节点出现故障且所述备用主控节点正常工作，则向所述备用主控节点发送单主控节点工作模式切换指令；

第一处理模块，用于接收所述备用主控节点返回的第一确认响应，并采用单主控节点工作模式继续与所述备用主控节点进行所述信令交互和所述数据交互。

本发明再一方面提供一种备用主控节点，包括：

接收模块，用于采用双主控节点工作模式与数据节点进行通信交互的过程中，接收所述数据节点发送的单主控节点工作模式切换指令，其中，所述通信交互包括：所述数据节点与所述主用主控节点进行信令交互，与所述主用主控节点和所述备用主控节点同时进行数据交互，所述单主控节点工作模式切换指令是所述数据节点在所述通信交互过程中监测到所述主用主控节点出现故障且所述备用主控节点正常工作时所发送的；

响应模块，用于向所述数据节点返回第一确认响应，以采用单主控节点工作模式继续与所述数据节点进行所述信令交互和所述数据交互。

本发明又一方面提供一种基于分布式文件系统的数据处理系统，包括：主用主控节点，还包括：上述的数据节点和备用主控节点。