[发明专利]分布式文件系统的文件访问处理、访问方法及装置

说明书

技术领域

本发明涉及计算机网络领域，尤其是涉及一种分布式文件系统的文件访问处理、访问方法及装置。

背景技术

目前分布式文件系统内部对文件的读写在集群内部没有鉴权机制，而分布式文件系统未来将面向大量用户并发访问，这样一来，对于目录和文件的访问控制势在必行。以下以Hadoop分布式文件系统(HadoopDistributedFileSystem，简称为HDFS)为例进行说明。

HDFS为分布式计算存储提供了底层支持。首先介绍HDFS的一些主要特点：

扩容能力(Scalable)：能可靠地(Reliably)存储和处理千兆字节(PB)数据。

成本低(Economical)：可以通过普通机器组成的服务器群来分发以及处理数据。这些服务器群总计可达数千个节点。

高效率(Efficient)：通过分发数据，借助分布式计算框架(例如映射归约MapReduce)，HDFS可以在数据所在的节点上并行地处理数据，这使得处理非常的快速。

可靠性(Reliable)：HDFS能自动地维护数据的多份复制，并且在任务失败后能自动地重新部署计算任务。

图1示出了HDFS的结构，如图1所示：

名称节点(NameNode):HDFS采用主/从(master/slave)架构。一个HDFS集群是由一个NameNode和一定数目的数据节点(DataNode)组成。NameNode是一个中心服务器，负责管理文件系统的名称空间(namespace)以及客户端对文件的访问。NameNode执行文件系统的名字空间操作，比如打开、关闭、重命名文件或目录。它也负责确定数据块到具体DataNode的映射。

数据节点(DataNode):集群中的DataNode负责管理它所在节点上的存储。HDFS暴露了文件系统的名称空间，用户能够以文件的形式在上面存储数据。从内部看，一个文件被分成一个或多个数据块，这些块存储在一组DataNode上。DataNode负责处理文件系统客户端的读写请求。在NameNode的统一调度下进行数据块的创建、删除和复制。

客户端：代表用户通过与NameNode和DataNode交互来访问整个文件系统。

命令行接口：客户端中与Linux架构(shell)连接的一种接口。

发明内容

针对相关技术中，分布式文件系统中并不存在鉴权机制，导致文件访问存在安全隐患等技术问题，本发明提供了一种分布式文件系统的文件访问处理、访问方法及装置。

为了达到上述目的，根据本发明的一个方面，还提供了一种分布式文件系统的文件访问处理方法，包括：获取对分布式文件系统内部文件中待加密的文件信息；对所述文件信息指示的文件和所述文件所属目录中至少之一所对应的访问过程进行加密，和/或对所述文件信息指示的文件本身进行加密。

优选地，对所述文件信息指示的文件和所述文件所属目录中至少之一所对应的访问过程进行加密，包括以下至少之一：仅对用于访问已加密的所述文件或目录的接口开放访问权限；修改所述分布式系统的命令行接口的指定类参数进行加密。

优选地，修改所述分布式系统的命令行接口的指定类参数进行加密，包括：修改所述指定参数类，其中，修改后的所述指定参数类用于禁止显示已加密的文件或目录；修改所述指定参数类，其中，修改后的所述指定参数类用于限制指定用户对所述文件或目录的访问权限。

优选地，所述分布式文件系统内部文件包括：客户端输入的文件，和所述分布式系统内部已有文件；对所述文件信息指示的文件本身进行加密，包括以下至少之一：对客户端输入的文件，根据在命令行接口输入的密钥对客户端的本地文件进行运算，生成加密后的加密文件；向所述分布式系统上传所述加密文件；对所述分布式系统内部已有文件，在命令行接口生成映射归约MapReduce任务，其中，该MapReduce任务用于对数据节点中所述文件信息指示的文件或目录进行加密并替换原文件或目录；执行所述MapReduce任务。

优选地，执行所述MapReduce任务，包括：根据在所述命令行接口输入的参数读取所述分布式文件系统中所述文件信息指示的原文件；根据在所述命令行接口输入的密钥对读取的文件进行加密并替换所述原文件。