[发明专利]一种分布式文件存储系统中的数据处理方法及设备

摘要

本发明涉及一种分布式文件存储系统中的数据处理方法及设备30，包括客户端代理30接收用户的数据处理请求，数据处理请求中携带有目标文件的文件标识、偏移地址和文件长度等信息；客户端代理30根据数据处理请求中携带的文件标识获得冗余配比信息，冗余配比信息包括所述分布式文件存储系统的数据条带块的数量N和所述分布式文件存储系统的校验条带块的数量M；根据数据处理请求中携带的偏移地址和长度信息确定所述目标文件的有效条带块的数量DSC；根据所述有效条带块的数量DSC和所述校验条带块的数量M确定所述目标文件的实际条带块的数量N’；根据所述实际条带块的数量N’确定对应的条带块并进行处理。通过根据待处理文件的大小，动态调整目标文件条带化处理时生成的实际条带块的数量，这样既能保证在任何情况下都可以获取到正确的目标文件，还可以减少分布式文件存储系统10中的空条带块的个数，这样可以小文件场景下节省大量的网络读写I/O与磁盘读写I/O，提高分布式存储系统10的性能。

主权项

一种应用于分布式文件存储系统的数据处理方法，其特征在于，所述方法包括：客户端代理接收用户的数据处理请求，所述数据处理请求中携带有目标文件的文件标识、偏移地址和文件长度等信息；所述目标文件为所述数据处理请求中需要处理的文件；客户端代理根据所述数据处理请求中携带的所述目标文件的文件标识获得冗余配比信息，所述冗余配比信息包括所述分布式文件存储系统的数据条带块的数量N和所述分布式文件存储系统的校验条带块的数量M；根据所述数据处理请求中携带的所述目标文件的偏移地址和长度信息确定所述目标文件的有效条带块的数量DSC，所述有效条带块为包含有所述目标文件的数据的条带块；根据所述有效条带块的数量DSC和所述校验条带块的数量M确定所述目标文件的实际条带块的数量N’；根据所述实际条带块的数量N’确定对应的条带块并进行处理。