[发明专利]一种提高非结构化小文件分布式存储效率的方法

权利要求书

1.一种提高非结构化小文件分布式存储效率的方法，其特征在于，包括如下步骤：

S1、将需要进行检索的非结构化小文件通过client节点，发送到所有master节点上；

所述master节点主要负责对文件系统的管理，master节点的内存中存储有非结构化小文件的文件存储位置；

S2、master节点将接收到的非结构化小文件以倒排文件的方式建立倒排索引，并将该倒排索引关系同步到对应的slave节点上；

所述slave节点用于对非结构化小文件进行数据存储；

S3、用户在进行检索时，通过访问merger节点，将检索条件发送到merger节点上，merger节点将检索条件发送到所有的slave节点上，每个slave节点对该节点上的倒排索引关系进行查询，并将各slave节点内符合检索条件的非结构化小文件反馈给merger节点，merger节点得到所有slave节点返回的符合检索条件的非结构化小文件后，对符合检索条件的非结构化小文件进行合并处理，并将合并处理后获得的数据信息返回给用户。

2.根据权利要求1所述的一种提高非结构化小文件分布式存储效率的方法，其特征在于，所述slave节点在对非结构化小文件进行数据存储时，首先根据非结构化小文件的文件属性对其进行分类，并将同一类的非结构化小文件合并形成一个或者一个以上的大文件进行存储。

3.根据权利要求2所述的一种提高非结构化小文件分布式存储效率的方法，其特征在于，所述文件属性包括文件创建时间、文件格式类型、文件所属业务类型。

4.根据权利要求3所述的一种提高非结构化小文件分布式存储效率的方法，其特征在于，当倒排索引关系发生改变时，将发生改变的倒排索引关系同步到relation节点上。

5.根据权利要求3所述的一种提高非结构化小文件分布式存储效率的方法，其特征在于，所述合并处理为对相同文件或者多个文件的相同部分进行合并，同时更新被合并文件的文件内容索引，将其指向新的存储位置。