[发明专利]利用元数据访问信息的方法、装置和系统

说明书

技术领域

本发明涉及通信领域，特别涉及一种利用元数据访问信息的方法、装置和系统。

背景技术

云计算分布式文件系统利用多台服务器提供大容量高可靠的文件服务，集群包含数据服务器（数据节点）和目录服务器(即元数据服务器)。目录服务器用来维护文件数据块在数据服务器的分布情况（元数据），数据服务器用来存储具体文件数据。

目前，在分布式文件系统中，文件按照数据块（Block）方式进行存储，典型的架构为集中式架构，系统由一台元数据服务器（NameNode）和多台数据节点（DataNode）构成，其中元数据服务器负责存储文件名、文件目录、文件属性、数据块和存储节点（DataNode）之间的映射关系。从逻辑功能看，元服务器在整个分布式文件系统中承担的角色为提供数据定位服务，数据节点提供具体的数据读写/存储服务。在读过程中，客户端（Client）、元数据服务器、数据节点的核心交互过程如图1所示：

步骤101，客户端向远程的元数据服务器发起RPC（Remote Procedure Call，远程过程调用）请求，请求某个文件名所包含的block信息。

步骤102，元数据服务器会视情况返回文件的block列表，对于每个block，元数据服务器都会返回有该block拷贝的数据节点地址。

步骤103，客户端会选取离客户端最接近的数据节点来读取block。

步骤104，读取完当前block的数据后，关闭与当前的数据节点连接，并为读取下一个block寻找最佳的数据节点。

步骤105，当读完列表的block后，且文件读取还没有结束，客户端会继续向元数据服务器获取下一批的block列表直至完成读操作。

在写过程中，客户端、元数据服务器和数据节点之间的核心交互如图2所示：

步骤201，客户端向远程的元数据服务器发起RPC请求创建指定的文件。

步骤202，元数据服务器会检查要创建的文件是否已经存在，创建者是否有权限进行操作，成功则会为文件创建一个记录，否则会向客户端提示异常。

步骤203，当客户端开始写入文件的时候，会将文件切分成多个分组，并在内部以数据队列data queue的形式管理这些分组，并向元数据服务器申请新的blocks。

步骤204，客户端获得block信息后，开始向block所在的数据节点写入数据直至完成。

当前，云计算分布式文件系统为了实现简单，目录服务器采用单机设计方案，所有元数据存放在一台节点，存在单点故障问题，并且扩展性不足。

发明内容

本发明要解决的技术问题是提供一种利用元数据访问信息的方法、装置和系统。通过将单一元数据服务器扩展为元数据服务器集群，从而有效避免了单点故障问题，解决了现行分布式文件系统元数据服务器的性能瓶颈。

根据本发明的一个方面，提供一种利用元数据访问信息的方法，包括：

在读取指定文件时，向访问服务器发送查询请求，其中访问服务器为元数据服务器集群中的任一元数据服务器，查询请求用于查询指定文件的元数据；以便访问服务器在接收到查询请求后，判断本地是否具有指定文件的元数据，若本地具有指定文件的元数据，则从本地获取指定文件的元数据，若本地没有指定文件的元数据，则从具有指定文件元数据的相应元数据服务器获取指定文件的元数据；

接收访问服务器发送的指定文件元数据；

从元数据中提取与指定文件的数据块相关联的数据节点地址信息；

利用数据节点地址信息，从距本地最近的数据节点中读取指定文件的数据块。

根据本发明的另一方面，提供一种利用元数据访问信息的方法，包括：

接收客户端发送的查询请求，其中查询请求用于查询指定文件的元数据；

判断本地是否具有指定文件的元数据；

若本地具有指定文件的元数据，则从本地获取指定文件的元数据；若本地没有指定文件的元数据，则从具有指定文件元数据的相应元数据服务器获取指定文件的元数据；

将获取的指定文件元数据发送给客户端，以便客户端从元数据中提取与指定文件的数据块相关联的数据节点地址信息，并利用数据节点地址信息，从距本地最近的数据节点中读取指定文件的数据块。

根据本发明的另一方面，提供一种利用元数据访问信息的客户端，包括：