[发明专利]一种面向Namenode的高效元数据构建和RPC性能提升的方法和装置

权利要求书

1.一种面向Namenode节点的高效元数据构建方法，其特征在于，包括以下步骤：

通过性能测试工具中的创建文件功能构造文件对象；

在内存中虚拟出仅有基本结构的Datanode节点，通过虚拟的Datanode节点构造文件块对象；

由构造的文件对象和文件块对象，构成Namenode内存元数据；

所述通过虚拟的Datanode节点构造文件块对象，包括：

在内存中初始化一定数量的TinyDatanode对象，并注册到Namenode中；其中TinyDataNode表示内存中虚拟出来的仅有基本结构的Datanode；

通过HDFS的客户端协议请求Namenode进行块创建，同时将favoredNodes参数设定为初始化的TinyDatanode；

以多线程的方式执行上述逻辑，完成虚拟块的创建。

2.根据权利要求1所述的方法，其特征在于，所述虚拟的Datanode节点的字段包含：名称空间信息、Datanode注册信息、块信息列表。

3.一种HDFS的RPC性能提升方法，其特征在于，包括以下步骤：

基于权利要求1或2所述方法构建的元数据，构造与生产环境相符的Namenode负载状态；

基于与生产环境相符的Namenode负载状态，进行Namenode内部扩展和集群扩展，实现RPC性能优化。

4.根据权利要求3所述的方法，其特征在于，所述Namenode内部扩展，是对Namenode全局锁进行垂直切分，在Namenode内部将与RPC调用有关的重要数据结构进行垂直切分。

5.根据权利要求3所述的方法，其特征在于，所述集群扩展，包括：

增加集群中Namenode节点的数量，增加的Namenode节点保持工作状态；

将Namenode节点与HDFS特定路径相绑定，实现Namenode间的隔离和均衡，所有Namenode相互协作，共同管理整个集群。

6.根据权利要求5所述的方法，其特征在于，所述的将Namenode节点与HDFS特定路径相绑定，实现Namenode间的隔离和均衡，包括：

为每个Namenode设置一个全局唯一的节点标识，集群通过节点标识管理多个Namenode；

将所有的Datanode存储块抽象为逻辑上的块池，每一个块都有唯一的标识ID，通过将Namenode和逻辑上的块池绑定实现Namenode间的隔离；

将Namenode的Namespace和对应的块池绑定在HDFS集群的特定目录下，实现集群的均衡。

7.一种电子装置，其特征在于，包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行权利要求1～6中任一权利要求所述方法的指令。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机程序，所述计算机程序被计算机执行时，实现权利要求1～6中任一权利要求所述的方法。