[发明专利]一种分布式文件存储系统中的数据处理方法及设备

权利要求书

1.一种应用于分布式文件存储系统的数据处理方法，其特征在于，所述方法包括：

客户端代理接收用户的数据处理请求，所述数据处理请求中携带有目标文件的文件标识、偏移地址和文件长度等信息；所述目标文件为所述数据处理请求中需要处理的文件；

客户端代理根据所述数据处理请求中携带的所述目标文件的文件标识获得冗余配比信息，所述冗余配比信息包括所述分布式文件存储系统的数据条带块的数量N和所述分布式文件存储系统的校验条带块的数量M；

根据所述数据处理请求中携带的所述目标文件的偏移地址和长度信息确定所述目标文件的有效条带块的数量DSC，所述有效条带块为包含有所述目标文件的数据的条带块；

根据所述有效条带块的数量DSC和所述校验条带块的数量M确定所述目标文件的实际条带块的数量N’；

根据所述实际条带块的数量N’确定对应的条带块并进行处理。

2.根据权利要求1所述的方法，其特征在于，所述根据所述有效条带块的数量DSC和所述校验条带块的数量M确定所述目标文件的实际条带块数量N’具体为：

若所述有效条带块的数量DSC小于或等于所述校验条带块的数量M，则所述目标文件的实际条带块的数量N’为所述校验条带块的数量M+1，即N’=M+1；

若所述有效条带块的数量DSC大于所述校验条带块的数量M，则所述目标文件的实际条带块数量N’等于所述有效条带块的数量DSC,即N’=DSC。

3.根据权利要求1或2所述的方法，其特征在于，所述校验条带块的数量M和数据条带块的数量N可以有多组，分别存储在对应的目录信息表中。

4.根据权利要求1-3任一所述的方法，其特征在于，当所述数据处理请求为数据写请求时，所述根据所述实际条带块的数量N’确定对应的条带块并进行处理还包括：

对所述目标文件进行条带化处理，得到N’个实际条带块，并使用冗余算法生成M个校验条带块；

在所述N’个实际条带块和所述M个校验条带块中添加一致性标签信息和有效条带块的数量DSC信息；所述一致性标签信息可以为时间戳或者版本号；

将所述N’个实际条带块和所述M个校验条带块写到对应的存储服务器节点中。

5.根据权利要求1-3任一所述的方法，其特征在于，当所述数据处理请求为数据读请求时，所述方法还包括，根据所述文件标识获取所述目标文件的条带块的分布信息；所述根据所述实际条带块的数量N’确定对应的条带块并进行处理具体为：

生成新的数据块读请求，所述数据块读请求用于读取存储服务器节点中的所述目标文件的条带块；

将所述数据块读请求根据获取到的目标文件的条带块的分布信息发送给存储实际条带块的存储服务器节点；

接收所述存储实际条带块的存储服务器节点的响应消息；所述响应消息为可以读取的成功响应消息或无法读取的失败响应消息，所述成功响应消息中携带有实际条带块的一致性标签信息和有效条带块的数量DSC信息；

根据接收到的所述响应消息判断是否可以读取到所述目标文件。

6.根据权利要求5所述的方法，其特征在于，根据接收到的所述响应消息判断是否可以读取到所述目标文件具体为：

若接收到的成功响应消息的数量等于所述实际条带块的数量N’，并且所述成功响应消息中携带的一致性标签信息和有效条带块的数量DSC信息都相同，则可以读取到所述目标文件；

若接收到的成功响应消息的数量小于所述实际条带块的数量N’,则判断所述接收到的成功响应消息的数量是否大于所述校验条带块的数量M；

若所述接收到的成功响应消息的数量大于所述校验条带块的数量M，则判断成功响应消息的数量是否大于或等于所述目标文件的有效条带块的数量DSC，并且所述成功响应消息中携带的一致性标签信息和有效条带块的数量DSC信息都相同；若是，则可以读取到所述目标文件；否则，根据获取到的分布信息将所述数据块读请求发送给存储校验条带块的存储服务器节点；若所述存储校验条带块的存储服务器节点返回的成功响应消息的数量大于或等于所述目标文件的有效条带块的数量DSC，并且所述成功响应消息中携带的一致性标签信息和有效条带块的数量DSC信息都相同，则可以读取到所述目标文件；若所述存储校验条带块的存储服务器节点返回的成功响应消息的数量小于所述目标文件的有效条带块的数量DSC，或者所述成功响应消息中携带的一致性标签信息和有效条带块的数量DSC信息不相同，则无法读取到目标文件。