[发明专利]一种基于纠删码存储的文件修改算法优化方法

说明书

技术领域

本发明涉及数据存储技术领域，尤其涉及纠删码技术领域。

背景技术

从RAID技术到分布式存储系统，纠删码现广泛的用于存储系统中，以保证所存储数据的安全。但当存储的大文件在被修改时，所要修改的内容往往会很少，但修改后带来的写入量却很大，导致数据的修改再次存入的效率低。

发明内容

本发明的主要目的是在于提供基于现有的纠删码存储技术，针对其数据修改部分作出优化，减少数据被修改后的数据写入量，以提升数据的修改效率。

为实现上述目的，本发明提供的一种基于纠删码存储的文件修改算法优化方法，所述方法包括：

按纠删码技术存储的数据，经过算法计算后会按K：M的方式进行拆分，K份数据块和M份校验块经对象化处理后以对象为单位进行存储；

当存储的数据发生修改时，被修改部分的数据映射到对应的数据块上时，则可以定位出块上的数据对应的对象名，即数据被修改则为具体对象发生了改变；

数据对象发生改时，算法则会记录这些改变了的对象，从而可以锁定没有发生改变的数据对象，并标记之间的对应关系；

修改好的数据存入后将会写入新的对象数据，写入完成后算法会记录新的数据存储的对象名和旧数据之前的对应关系；

根据之前得到的未修对象、新写入的对象数据及标记的映射关系，算法会将所有对象重组成一份完整的数据；

算法将数据重组完成后，此时只是得到了完整的数据块，还应按纠删编码规则重新按K：M，生成新的校验数据块，即得到了修改后K份数据块和M份校验块，整个数据修改过程完成。

进一步，所述数据按现有纠删码技术存储，数据发生修改时只需要重新写入修改部分的数据，算法会重组未改动的数据和新写入的数据，数据重组完成后会生成新的纠删校验数据。

进一步，所述数据采用纠删码存储时，数据按K：M将原始数据分成K份，并根据K份数据来生成M份的校验数据后进行存储，当K份数据中有对象被修改时，则M份校验数据也需要重新生成。

进一步，所述使用纠删码算法来存储数据，保障数据的安全性和高可用性，同时对算法的修改功能进行优化，以提高数据的修改效率。

进一步，所述当K份数据中的部份对象被修改时，优化后的算法只会重新写入修改后的数据，数据写入完成后，算法将修改的新数据和原始未修改的数据重组即为修改后的完整理数据。

进一步，所述算法将数据重组完成后，则根据新的数据按纠删码K：M的规则生成M份新的校验数据。

由于整个数据在修改后，再次存储时只重写了修改部分的数据，其他未发生改变的数据是通过算法重组获得，类似于将修改后的数据块使用链接的方式指向修改前的索引位置即可。

本发明的优点是：存储的大文件在修改后带来的写入量小，数据修改后再次存入的效率高。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明流程图；

图2为只写入修改部分，并重组未修改的数据效果图。

具体实施方式

下面可以参照附图1以及文字内容理解本发明的内容以及本发明与现有技术之间的区别点。下文通过附图以及列举本发明的一些可选实施例的方式，对本发明的技术方案(包括优选技术方案)做进一步的详细描述。需要说明的是：本实施例中的任何技术特征、任何技术方案均是多种可选的技术特征或可选的技术方案中的一种或几种，为了描述简洁的需要本文件中无法穷举本发明的所有可替代的技术特征以及可替代的技术方案，也不便于每个技术特征的实施方式均强调其为可选的多种实施方式之一，所以本领域技术人员应该知晓：可以将本发明提供的任意技术手段进行替换或将本发明提供的任意两个或更多个技术手段或技术特征互相进行组合而得到新的技术方案。本实施例内的任何技术特征以及任何技术方案均不限制本发明的保护范围，本发明的保护范围应该包括本领域技术人员不付出创造性劳动所能想到的任何替代技术方案以及本领域技术人员将本发明提供的任意两个或更多个技术手段或技术特征互相进行组合而得到的新的技术方案。

本发明实施例提供了一种基于纠删码存储的文件修改算法优化方法。

下面结合图1对本发明提供的技术方案进行更为详细的阐述。

实施例1

本发明的技术方案是按以下方式实现的，一种基于纠删码存储的文件修改算法优化方法，所述方法包括：