[发明专利]Hadoop分布式文件系统的访问方法、系统和装置

说明书

技术领域

本发明涉及数据处理技术，特别涉及Hadoop分布式文件系统的访问方法、系统和装置。

背景技术

Hadoop是一个分布式系统基础架构，用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的威力高速运算和存储。

Hadoop分布式文件系统（HDFS，Hadoop Distributed File System）是Hadoop使用的分布式文件系统，是一种具有高容错性和高吞吐量，适合存储和处理大数据的分布式文件系统。

在涉及到大数据服务和处理的产品中，使用HDFS是一种高效、快速成熟的解决方案，利用HDFS的特点，存储海量数据并对外提供服务。

现有技术中，对HDFS的访问主要采用以下两种方式：

1）通过Hadoop客户端（Hadoop Client）调用的方式，Hadoop Client是Hadoop配套提供的读写和控制工具，使用方式是命令行调用；

2）利用Libhdfs，采用编程的方式来对HDFS进行访问，但是Libhdfs底层也需要依赖Hadoop Client。

可见，无论是采用方式1）还是方式2）来对HDFS进行访问，均需要在访问设备上安装Hadoop Client。图1为现有访问设备与HDFS之间的关系示意图。如图1所示，其中的每个访问设备上均需要安装有Hadoop Client。

这样，在实际应用中就会存在以下问题：当访问设备的数量较多，如超过几百甚至达到上千时，一旦需要对Hadoop Client进行版本升级等，实现成本将会非常高。

发明内容

有鉴于此，本发明提供了Hadoop分布式文件系统的访问方法、系统和装置，能够降低实现成本。

为了达到上述目的，本发明的技术方案是这样实现的：

一种Hadoop分布式文件系统的访问方法，包括：

当需要访问Hadoop分布式文件系统时，访问设备从预先设置的M个接口服务器中选出一个接口服务器，并将访问请求发送给所选出的接口服务器，所述M为正整数；

所选出的接口服务器调用自身安装的Hadoop客户端，通过所述Hadoop客户端访问所述Hadoop分布式文件系统，完成本次访问请求。

一种Hadoop分布式文件系统的访问系统，包括：P个访问设备和M个接口服务器；其中，所述P为大于1的正整数，所述M为正整数；

所述访问设备，用于当需要访问所述Hadoop分布式文件系统时，从所述M个接口服务器中选出一个接口服务器，并将访问请求发送给所选出的接口服务器；

所述接口服务器，用于当接收到来自所述访问设备的访问请求时，调用自身安装的Hadoop客户端，通过所述Hadoop客户端访问所述Hadoop分布式文件系统，完成本次访问请求。

一种访问设备，包括：

第一处理模块，用于当需要访问Hadoop分布式文件系统时，从预先设置的M个接口服务器中选出一个接口服务器，并将所选出的接口服务器通知给第二处理模块，所述M为正整数；

所述第二处理模块，用于将访问请求发送给所选出的接口服务器。

一种接口服务器，包括：

第三处理模块，用于接收来自访问设备、针对Hadoop分布式文件系统的访问请求，并发送给第四处理模块；

所述第四处理模块，用于调用所述接口服务器中安装的Hadoop客户端，通过所述Hadoop客户端访问所述Hadoop分布式文件系统，完成本次访问请求。

可见，采用本发明所述方案，访问设备可通过接口服务器来完成对Hadoop分布式文件系统的访问，从而仅需要在接口服务器上安装Hadoop客户端，不需要在访问设备上安装Hadoop客户端，而对于一套Hadoop分布式文件系统，通常只需要部署很少的几个接口服务器即可满足要求，因此当需要对Hadoop客户端进行版本升级等时，实现成本将会非常低，即相比于现有技术，显著降低了实现成本。

附图说明

图1为现有访问设备与HDFS之间的关系示意图。

图2为本发明HDFS的访问方法实施例的流程图。

图3为本发明HDFS的访问方法较佳实施例的流程图。

图4为本发明HDFS的访问系统实施例的组成结构示意图。

图5为本发明访问设备实施例的组成结构示意图。

图6为本发明接口服务器实施例的组成结构示意图。

具体实施方式