[发明专利]用于处理HDFS中的文件存储的方法和系统

权利要求书

1.一种用于处理文件存储的方法，包括：

接收一个文件存储请求；

确定所请求存储的文件的文件大小；

响应于确定所述文件为小文件，将所述文件存储请求发送给Hadoop数据库HBase，以便将所述文件存储到所述HBase中；以及

响应于确定所述文件为大文件，将所述文件存储请求发送给Hadoop分布式文件系统HDFS，以便将所述文件存储到所述HDFS中，并将与所述文件相关联的信息保存在一个记录中。

2.如权利要求1所述的方法，进一步包括：

接收一个文件读取请求；

确定在所述记录中是否存在与所述文件相关联的信息；

响应于找到所述信息，将所述文件读取请求发送给所述HDFS，以便对文件进行读取；以及

响应于未找到所述信息，将所述文件读取请求发送给所述HBase，以便对文件进行读取。

3.如权利要求1或2所述的方法，进一步包括：

监视所述HBase中的文件的文件大小的变化；

响应于文件的文件大小超过第一阈值，将所述文件从所述HBase迁移到所述HDFS，并将与所述文件相关联的信息保存在所述记录中。

4.如权利要求1或2所述的方法，进一步包括：

监视所述HDFS中的文件的文件大小的变化；

响应于所述文件大小低于第二阈值，将所述文件从所述HDFS迁移到所述HBase，并从所述记录中删除与所述文件相关联的信息。

5.如权利要求1所述的方法，其中，将所述HBase中的列族的HFile的大小设置为分别与其可存储的文件的文件大小相匹配。

6.如权利要求5所述的方法，进一步包括：

监视所述HBase的列族中的文件的文件大小的变化；

响应于所述列族中的文件的文件大小与所述列族的块大小不匹配，将所述文件迁移到HFile的大小与其文件大小匹配的列族中。

7.一种用于处理文件存储的系统，包括：

请求接收模块，被配置为接收一个文件存储请求；以及

管理模块，被配置为确定所请求存储的文件的文件大小，

所述管理模块进一步被配置为：

响应于确定所述文件为小文件，将所述文件存储请求发送给Hadoop数据库HBase，以便将所述文件存储到所述HBase中；以及，

响应于确定所述文件为大文件，将所述文件存储请求发送给Hadoop分布式文件系统HDFS，以便将所述文件存储到所述HDFS中，并将与所述文件相关联的信息保存在一个记录中。

8.如权利要求7所述的系统，其中，

所述请求接收模块进一步被配置为接收一个文件读取请求；

所述管理模块进一步被配置为：

确定在所述记录中是否存在与所述文件相关联的信息；

响应于找到所述信息，将所述文件读取请求发送给所述HDFS，以便对文件进行读取；以及

响应于未找到所述信息，将所述文件读取请求发送给所述HBase，以便对文件进行读取。

9.如权利要求7或8所述的系统，进一步包括：

监视模块，被配置为监视所述HBase中的文件的文件大小的变化；

迁移模块，被配置为响应于文件的文件大小超过第一阈值，将所述文件从所述HBase迁移到所述HDFS，

其中，所述管理模块将与所述文件相关联的信息保存在所述记录中。

10.如权利要求7或8所述的系统，进一步包括：

监视模块，被配置为监视所述HDFS中的文件的文件大小的变化；以及

迁移模块，被配置为响应于所述文件大小低于第二阈值，将所述文件从所述HDFS迁移到所述HBase，

其中，所述管理模块从所述记录中删除与所述文件相关联的信息。

11.如权利要求7所述的系统，其中，将HBase中的列族的HFile的大小设置为分别与其可存储的文件的文件大小相匹配。

12.如权利要求11所述的系统，进一步包括：

监视模块，被配置为监视HBase的列族中的文件的文件大小的变化；以及

优化模块，被配置为响应于所述列族中的文件的文件大小与所述列族的块大小不匹配，将所述文件迁移到HFile的大小与其文件大小匹配的列族中。