[发明专利]一种面向Namenode的高效元数据构建和RPC性能提升的方法和装置

说明书

本发明涉及一种面向Namenode的高效元数据构建和RPC性能提升的方法和装置。该方法通过性能测试工具中的创建文件功能构造文件对象，通过在内存中虚拟出的仅有基本结构的Datanode节点构造文件块对象，由文件对象和文件块对象构成Namenode内存元数据；基于构建的元数据，构造与生产环境相符的Namenode负载状态，并进行Namenode内部扩展和集群扩展，实现RPC性能优化。本发明能够高速构建Namenode元数据，为快速搭建接近生产环境的测试集群提供了帮助，全局锁的拆分能够提升RPC性能，多个Namenode协作管理集群且同时对外提供服务，提供了更高的读写吞吐量。

技术领域

本发明属于大数据技术领域，具体提出一种面向Namenode(管理节点)的高效元数据构建和RPC(Remote Procedure Call，远程过程调用)性能提升的方法和装置。

背景技术

随着计算机存储能力的提升和复杂算法的发展，近年来的数据量成指数型增长，这些趋势使科学技术发展也日新月异，商业模式发生了颠覆式变化。

Hadoop是Apache软件基金会下的开源分布式计算平台，实现在大量计算机组成的集群中对海量数据进行分布式计算，为大数据的分布式存储和计算提供了有效支撑。HDFS是Hadoop的核心组件之一，实现海量数据的分布式存储。HDFS架构采用主从架构(master/slave)。一个典型的HDFS集群包含一个NameNode节点(管理节点)和多个DataNode节点(工作节点)。NameNode节点负责整个HDFS文件系统中的文件的元数据的保管和管理；DataNode负责存储客户端(Client)发来的数据块(Block)，执行数据块的读写操作。在此架构设计中HDFS的性能主要取决于Namenode的RPC性能。因此能够快速地构建Namenode的内存元数据以接近真实线上环境、测试Namenode的性能以及RPC性能的优化是提升HDFS性能的关键。

发明内容

本发明的目的是提出一种高效构建Namenode元数据和提升HDFS性能的方法，以支撑大规模集群的测试和扩展。

为实现上述目的，本发明采用的技术方案如下：

一种面向Namenode节点的高效元数据构建方法，包括以下步骤：

通过性能测试工具中的创建文件功能构造文件对象；

在内存中虚拟出仅有基本结构的Datanode节点，通过虚拟的Datanode节点构造文件块对象；

由构造的文件对象和文件块对象，构成Namenode内存元数据。

进一步地，所述虚拟的Datanode节点的字段包含：名称空间信息、Datanode注册信息、块信息列表。

进一步地，所述通过虚拟的Datanode节点构造文件块对象，包括：

在内存中初始化一定数量的TinyDatanode对象，并注册到Namenode中；其中TinyDataNode表示内存中虚拟出来的仅有基本结构的Datanode；

通过HDFS的客户端协议请求Namenode进行块创建，同时将favoredNodes参数设定为初始化的TinyDatanode；

以多线程的方式执行上述逻辑，完成虚拟块的创建。

一种HDFS的RPC性能提升方法，包括以下步骤：

基于本发明方法构建的元数据，构造与生产环境相符的Namenode负载状态；

基于与生产环境相符的Namenode负载状态，进行Namenode内部扩展和集群扩展，实现RPC性能优化。