[发明专利]一种数据处理方法及装置

说明书

本发明提供一种数据处理方法及装置，所述方法包括：当接收到客户端发送的NameNode访问请求时，从所述多个NameNode中选择用于提供服务的目标NameNode；将所述目标NameNode的地址信息发送给所述客户端，以使所述目标NameNode响应所述客户端发起的数据读写请求对所述共享内存层中存储的元数据进行数据读写处理。应用本发明可以提高HDFS HA集群的处理性能，避免性能瓶颈的产生，降低对部署NameNode的服务器的硬件配置的需求。

技术领域

本发明涉及大数据技术领域，尤其涉及一种数据处理方法及装置。

背景技术

HDFS(Hadoop Distributed File System，Hadoop分布式文件系统)是一个主/从(Master/Slave)体系结构，一个HDFS集群由一个NameNode(名字节点)和多个DataNode(数据节点)组成。NameNode为元数据节点，管理文件系统的元数据，DataNode为数据节点，存储实际的文件数据。

由于在HDFS中NameNode只有一个，因此NameNode的可靠性是影响HDFS可靠性的重要因素。

目前，提高HDFS可靠性的主要实现方案是HDFS HA(High Available，高可用性)集群方案，其主要实现原理为：

在HDFS HA集群中，将两台独立的机器配置为NameNode(检测NN)节点，在任何时间点只有一台NN节点处于Active(活跃)状态，另一台NN节点处于Standby(备用)状态。Active状态的NN节点负责所有的客户端操作。处于Standby状态的NN节点的元数据与Active状态的NN节点保持一致，并且当Active状态的NN节点无法对外提供服务时，Active状态的NN节点将接替Active NameNode工作。

然而实践发现，在现有HDFS HA集群方案中，仅有Active状态的NN节点提供服务，而Standby状态的NN节点不提供服务，HDFS HA集群处理性能较差，且单台NN节点的性能容易形成性能瓶颈。

发明内容

本发明提供一种数据处理方法及装置，以解决现有HDFS HA集群处理性能较差，且容易出现性能瓶颈的问题。

根据本发明实施例的第一方面，提供一种数据处理方法，应用于HDFS HA集群中的Zookeeper集群中的Zookeeper，所述HDFS HA集群中还包括多个NameNode，所述方法包括：

当接收到客户端发送的NameNode访问请求时，从所述多个NameNode中选择用于提供服务的目标NameNode；

将所述目标NameNode的地址信息发送给所述客户端，以使所述目标NameNode响应所述客户端发起的数据读写请求对所述共享内存层中存储的元数据进行数据读写处理。

根据本发明实施例的第二方面，提供一种数据处理方法，应用于HDFS HA集群中的NameNode，所述HDFS HA集群中包括Zookeeper集群以及多个所述NameNode，所述方法包括：

接收客户端发送的数据读写请求；

响应所述数据读写请求对所述共享内存层中存储的元数据进行数据读写处理。

根据本发明实施例的第三方面，提供一种数据处理装置，应用于HDFS HA集群中的Zookeeper集群中的Zookeeper，所述HDFS HA集群中还包括多个NameNode，所述装置包括：

接收单元，用于接收客户端发送的NameNode访问请求；

选择单元，用于当所述接收单元接收到客户端发送的NameNode访问请求时，从所述多个NameNode中选择用于提供服务的目标NameNode；