[发明专利]一种分布式数据存取方法、装置和系统

权利要求书

1.一种分布式数据存储方法，其特征在于，在客户端和Hadoop分布式文件系统HDFS之间设置小文件处理模块；所述方法包括：

小文件处理模块接收客户端上传的文件；

当判定所述文件的数据量小于预设的数据量门限时，将所述文件保存在本地系统；所述本地系统为HDFS之外的存储空间；

当本地系统存储的各文件的数据量之和达到预设的合并门限时，将各文件进行合并，并将合并后的大文件发给HDFS。

2.根据权利要求1所述的方法，其特征在于，所述将所述文件保存在本地系统之后，所述方法还包括：

记录所述文件的数据量。

3.根据权利要求1所述的方法，其特征在于，将各文件进行合并之后，所述方法还包括：

记录各文件在合并后的大文件中的位置。

4.根据权利要求1所述的方法，其特征在于，所述将合并后的大文件发给HDFS之后，所述方法还包括：

将本地系统中已经进行合并的各文件删除，并将被删除文件对应的状态标识标记为已合并。

5.一种分布式数据读取方法，其特征在于，所述方法包括：

小文件处理模块根据客户端发来的文件读取请求，判断所述文件的数据量是否小于预设的数据量门限；所述小文件处理模块设置于所述客户端和Hadoop分布式文件系统HDFS之间；

当所述文件的数据量小于预设的数据量门限时，判断所述文件是否被合并；

当所述文件未被合并，从本地系统中读取所述文件；所述本地系统为HDFS之外的存储空间；

当所述文件被合并，从HDFS中读取所述文件。

6.根据权利要求5所述的方法，其特征在于，所述判断所述文件的数据量是否小于预设的数据量门限为：

根据数据量记录信息，判断所述文件的数据量是否小于预设的数据量门限。

7.根据权利要求5所述的方法，其特征在于，所述从Hadoop分布式文件系统HDFS中读取所述文件为：

从HDFS中读取包含所述文件的大文件，根据位置记录信息从大文件中读取所述文件。

8.根据权利要求5所述的方法，其特征在于，所述判断所述文件是否被合并为，

根据所述文件对应的状态标识判断所述文件是否被合并，当所述状态标识为未合并表示所述文件未被合并；当所述状态标识为已合并表示所述文件被合并。

9.一种小文件处理模块，其特征在于，设置在客户端和Hadoop分布式文件系统HDFS之间；所述模块包括：

文件接收单元，用于接收客户端上传的文件；

文件存储单元，用于当判定所述文件的数据量小于预设的数据量门限时，将所述文件保存在本地系统；当本地系统存储的各文件的数据量之和达到预设的合并门限时，将各文件进行合并，并将合并后的大文件发给HDFS；所述本地系统为HDFS之外的存储空间。

10.一种小文件处理模块，其特征在于，设置在客户端和Hadoop分布式文件系统HDFS之间；所述模块包括：

数据量判断单元，用于根据客户端发来的文件读取请求，判断所述文件的数据量是否小于预设的数据量门限；

状态判断单元，用于当所述文件的数据量小于预设的数据量门限时，判断所述文件是否被合并；

文件读取单元，当所述文件未被合并，从本地系统中读取所述文件；所述本地系统为HDFS之外的存储空间；

当所述文件被合并，从HDFS中读取所述文件。

11.一种分布式数据存取系统，其特征在于，在客户端和Hadoop分布式文件系统HDFS之间设置小文件处理模块；所述系统包括：

小文件处理模块，用于接收客户端上传的文件；当判定所述文件的数据量小于预设的数据量门限时，将所述文件保存在本地系统；当本地系统存储的各文件的数据量之和达到预设的合并门限时，将各文件进行合并，并将合并后的大文件发给HDFS；所述本地系统为HDFS之外的存储空间；

本地系统，用于保存数据量小于预设的数据量门限的文件；

HDFS，用于保存合并后的大文件。

12.一种分布式数据存取系统，其特征在于，在客户端和Hadoop分布式文件系统HDFS之间设置小文件处理模块；所述系统包括：

小文件处理模块，用于根据客户端发来的文件读取请求，判断所述文件的数据量是否小于预设的数据量门限；当所述文件的数据量小于预设的数据量门限时，判断所述文件是否被合并；当所述文件未被合并，从本地系统中读取所述文件；当所述文件被合并，从HDFS中读取所述文件；所述本地系统为HDFS之外的存储空间；

本地系统，用于保存数据量小于预设的数据量门限的文件；

HDFS，用于保存合并后的大文件。