[发明专利]一种分布式存储系统中的数据处理方法及系统

权利要求书

1.一种分布式存储系统中的数据处理方法，所述分布式存储系统中包含至少一个存储桶，其特征在于，每个所述存储桶被划分为预设数量的分片，并且各个所述分片具备各自的分片统计信息；所述方法包括：

分别创建各个所述分片的元数据处理任务，其中，当前分片的元数据处理任务中至少包括所述当前分片的分片标识；

在执行所述当前分片的元数据处理任务时，读取所述当前分片的分片统计信息，并基于所述当前分片的分片标识，从操作日志集合中读取属于所述当前分片的操作日志；

依次处理读取的各个所述操作日志，并根据处理结果更新所述当前分片的分片统计信息；

所述根据处理结果更新所述当前分片的分片统计信息包括：

根据读取的当前操作日志的类型，在所述当前操作日志中识别对应文件的指定参数统计值；

基于识别出的所述指定参数统计值，更新所述当前分片的分片统计信息中记录的处于所述当前分片内的各个文件的指定参数统计总值。

2.根据权利要求1所述的方法，其特征在于，所述操作日志集合中的操作日志按照以下方式生成：

接收用户客户端发来的指向目标文件的文件处理请求，并计算所述目标文件的哈希值；

生成所述文件处理请求对应的操作日志，并将计算得到的所述哈希值写入所述操作日志的指定字段中。

3.根据权利要求1或2所述的方法，其特征在于，基于所述当前分片的分片标识，从操作日志集合中读取属于所述当前分片的操作日志包括：

遍历所述操作日志集合中的每条操作日志，并针对所述当前操作日志，识别所述当前操作日志的指定字段中填写的哈希值；

将识别的所述哈希值对所述预设数量进行取模运算，若取模运算的结果与所述当前分片的分片标识相匹配，将所述当前操作日志作为属于所述当前分片的操作日志。

4.根据权利要求1所述的方法，其特征在于，读取所述当前分片的分片统计信息包括：

在分片统计信息集合中查询所述当前分片的分片标识指向的分片统计信息，并将查询得到的所述分片统计信息作为所述当前分片的分片统计信息。

5.根据权利要求1所述的方法，其特征在于，根据处理结果更新所述当前分片的分片统计信息包括：

若读取的所述当前操作日志为上传新文件的上传操作日志，在所述当前操作日志中识别所述新文件的指定参数统计值，并将识别出的所述指定参数统计值累加至所述当前分片的分片统计信息中；

若读取的所述当前操作日志为修改已存储文件的修改操作日志，在所述当前操作日志中识别所述已存储文件修改后的指定参数统计值，并在所述当前分片的分片统计信息中，将所述已存储文件当前的指定参数统计值修改为识别出的所述修改后的指定参数统计值；

若读取的所述当前操作日志为删除已存储文件的删除操作日志，在所述当前操作日志中识别待删除的所述已存储文件的指定参数统计值，并在所述当前分片的分片统计信息中，将识别出的所述指定参数统计值扣除。

6.根据权利要求1或5所述的方法，其特征在于，根据处理结果更新所述当前分片的分片统计信息还包括：

若读取的所述当前操作日志为上传新文件的上传操作日志，在所述当前分片的分片统计信息中增加文件个数；

若读取的所述当前操作日志为修改已存储文件的修改操作日志，保持所述当前分片的分片统计信息中的文件个数不变；

若读取的所述当前操作日志为删除已存储文件的删除操作日志，在所述当前分片的分片统计信息中减少文件个数。

7.根据权利要求1所述的方法，其特征在于，依次处理读取的各个所述操作日志包括：

针对读取的所述当前操作日志，从所述当前操作日志中提取待处理的目标文件的元数据信息，并将提取的所述元数据信息写入所述存储桶的元数据信息集合中。

8.根据权利要求1所述的方法，其特征在于，各个所述分片的元数据处理任务通过多个工作线程执行；其中，同一时刻，各个分片的元数据处理任务由自身唯一的工作线程执行。