[发明专利]一种文件处理方法和装置

权利要求书

1.一种文件处理方法，其特征在于，所述方法包括：

获取至少两个文件；将满足文件合并条件的各个文件进行合并，得出合并文件；将合并文件以BloomMapFile形式进行存储；

在接收文件读取请求之后，获取文件读取请求对应的位数组信息，在一级索引中存在匹配所获取的位数组信息的key值时，确定所述文件读取请求对应的文件存在；在二级索引中，查找出所获取的位数组信息对应的new_key值，基于查找出的new_key值，读取出对应的合并文件；基于文件读取请求，从读取出的合并文件中，根据所获取的位数组信息的key值，读取对应的文件。

2.根据权利要求1所述的方法，其特征在于，所述将满足文件合并条件的各个文件进行合并，得出合并文件，包括：对获取的各个文件进行分类；在每个类别的文件中，将容量小于容量阈值的文件标记为对应类别的待合并文件；任意一个类别的各个待合并文件的容量之和达到容量阈值时，利用BloomFilter将对应类别的各个待合并文件合并，得出合并文件。

3.根据权利要求2所述的方法，其特征在于，所述利用BloomFilter实现各个待合并文件的合并，包括：启动MapReduce任务将对应类别的各个待合并文件合并。

4.根据权利要求2或3所述的方法，其特征在于，在将合并文件以BloomMapFile形式进行存储之后，所述方法还包括：接收文件读取请求；确定所述文件读取请求对应的文件存在时，基于所述文件读取请求读取文件。

5.根据权利要求4所述的方法，其特征在于，确定所述文件读取请求对应的文件不存在时，所述方法还包括：返回读取文件不存在的指示信息。

6.根据权利要求4所述的方法，其特征在于，所述利用BloomFilter将对应类别的各个待合并文件合并，得出合并文件，还包括：获取每个待合并文件的位数组；建立一级索引(key,value)，其中，key表示每个待合并文件的位数组，value表示每个待合并文件的内容；

在利用BloomFilter将对应类别的各个待合并文件合并，得出合并文件之后，所述方法还包括：建立二级索引(new_key,(key，value))，new_key表示对应类别的合并文件的位数组，对应类别的合并文件为对应类别的各个待合并文件合并后形成的文件；

在接收文件读取请求之后，所述方法还包括：获取文件读取请求对应的位数组信息，在一级索引中存在匹配所获取的位数组信息的key值时，确定所述文件读取请求对应的文件存在；

所述基于所述文件读取请求读取文件，包括：在二级索引中，查找出所获取的位数组信息对应的new_key值，基于查找出的new_key值，读取出对应的合并文件；基于文件读取请求，从读取出的合并文件中，读取对应的文件。

7.根据权利要求6所述方法，其特征在于，所述获取每个待合并文件的位数组，包括：基于对应待合并文件的文件名生成至少两个哈希函数，将生成的各个哈希函数映射至预设的位数组中，得出新的位数组，将得出的新的位数组的位数组序列确定为对应待合并文件的位数组。

8.一种文件处理装置，其特征在于，所述装置包括：获取模块、得出模块和存储模块、读取模块；其中，

获取模块，用于获取至少两个文件；

得出模块，用于将满足文件合并条件的各个文件进行合并，得出合并文件；

存储模块，用于将合并文件以BloomMapFile形式进行存储；

读取模块，用于在接收文件读取请求之后，获取文件读取请求对应的位数组信息，在一级索引中存在匹配所获取的位数组信息的key值时，确定所述文件读取请求对应的文件存在；在二级索引中，查找出所获取的位数组信息对应的new_key值，基于查找出的new_key值，读取出对应的合并文件；基于文件读取请求，从读取出的合并文件中，读取对应的文件；基于文件读取请求，从读取出的合并文件中，根据所获取的位数组信息的key值，读取对应的文件。