[发明专利]一种基于纠删码的文件写入方法及相关装置

说明书

本申请公开了一种基于纠删码的文件写入方法、文件写入装置、计算机可读存储介质及服务器，该方法包括：判断源数据的长度是否需要写入零数据以补齐到纠删条带的长度；若是，则将所述零数据写入所述源数据，并利用纠删码算法计算得到冗余数据；当所述零数据写入硬盘时，通过系统操作命令创建与所述零数据相同大小的文件，以使存储系统将所述文件识别为所述零数据。通过在零数据写入硬盘时，用创建与零数据相同大小的空文件代替写入操作，并且存储系统会识别零数据已经写入，节省了写入零数据的时间，解放了原有写入零数据的性能，提高了存储系统的性能利用率。其中，文件写入装置、计算机可读存储介质及服务器，具有上述有益效果。

技术领域

本申请涉及分布式存储技术领域，特别涉及一种基于纠删码的文件写入方法、文件写入装置、计算机可读存储介质及服务器。

背景技术

随着存储技术的不断发展，延伸出应对不同应用场景的存储系统。在处理大量数据方面，一般使用分布式存储系统，其中为了保持数据存储的可靠性，常用纠删码技术提高存储系统的可靠性。

纠删码技术是一种数据保护方法，通过讲一定长度的数据分割为K份，用K份数据通过编码算法计算得到M分冗余的校验块数据。将设K+M份数据存储在不同的位置，比如磁盘、存储节点或者其他位置。只需要K+M份数据中的K份数据就可以会付出所有的数据。因此，纠删码技术相比于存储数据副本的方式，在保障数据安全的情况相同，可以有效的提高存储空间的利用率。

但是，纠删码中的数据读写都是以纠删数据条带大小为基本单位，当所写入的数据不足与该条带大小时，会使用零数据将不足的长度进行补充，补齐到条带大小。即使是写入一个字节的长度的数据，他也想用零数据继续补齐到条带长度，然后以条带长度为最小的写入单位将补齐后的内容都写入硬盘中，当写入的有效数据小于纠删条带大小时，有可能写入的有效数据分布在所有写入数据硬盘的部分硬盘中，而其他的硬盘写入用来补齐的零数据。

进一步的，零数据都是无效数据，不仅占用硬盘的实际存储空间，还增加了写入的时间。当存储系统的运行压力较大是，写入这些零数据无疑会影响整个存储系统的性能，造成存储系统的性能浪费。

因此，如何解决在纠删码技术下写入零数据影响存储系统性能的问题，是本领域技术人员关注的热点问题。

发明内容

本申请的目的是提供一种基于纠删码的文件写入方法、文件写入装置、计算机可读存储介质及服务器，通过在零数据写入硬盘时，用创建与零数据相同大小的空文件代替写入操作，并且存储系统会识别零数据已经写入，节省了写入零数据的时间，解放了原有写入零数据的性能，提高了存储系统的性能利用率。

为解决上述技术问题，本申请提供一种基于纠删码的文件写入方法，包括：

判断源数据的长度是否需要写入零数据以补齐到纠删条带的长度；

若是，则将所述零数据写入所述源数据，并利用纠删码算法计算得到冗余数据；

当所述零数据写入硬盘时，通过系统操作命令创建与所述零数据相同大小的文件，以使存储系统将所述文件识别为所述零数据。

可选的，所述当所述零数据写入硬盘时，通过系统操作命令创建与所述零数据相同大小的文件，以使存储系统将所述文件识别为所述零数据，包括：

所述当所述零数据写入硬盘时，通过touch操作创建空文件；

使用truncate操作将所述空文件的大小数据修改为所述零数据的大小数据，得到所述文件，以使所述存储系统将所述文件识别为所述零数据。

可选的，所述判断写入源数据是否需要写入零数据以补齐纠删条带的长度，包括：

根据需要写入的所述源数据的偏移量和写入长度判断所述源数据的数据块的数量是否小于纠删码数据块的数量。

可选的，还包括：