[发明专利]一种基于动态条带构造的分布式编码方法

摘要

本发明公开了一种基于动态条带构造的分布式编码方法，特征是采取从总控节点获得数据块信息，并根据该信息动态构建数据条带，将数据条带的构建信息持久化存储，分发校验数据块计算任务，删除冗余数据节点，重新分布非完全分布的数据条带的操作步骤。由于采用了动态构建数据条带的方式，与传统的采用连续数据块构建数据条带相比，在保证系统数据块的容错性情况下，缩减了转换过程中的跨机架或节点的数据下载量，缩短了数据从三副本到纠删码存储的转换时间，减少了该转换过程中的数据带宽，提高分布式系统的服务质量与性能。

主权项

一种基于动态条带构造的分布式编码方法，其特征在于包括以下步骤：第一步：从总控节点获得数据块信息，并根据数据块存储信息动态构建数据条带从总控节点获得从数据块到存储机架或节点以及存储机架或节点到数据块的映射；对于每个机架或节点中的数据块，将其根据该数据块出现在的另一个机架或节点划分为若干个集合；并根据集合的大小将这些集合从大到小排序，从这些数据块集合中依次取出一个数据块来构成计算校验数据的全分布的数据条带，最后将数据条带的核心机架或节点设置为当前机架或节点，在取出数据块的过程中，记录将该数据块的另一存在机架或节点上的冗余数据块作为删除冗余数据时应该保留的数据副本，并将该冗余数据块从那个机架的数据块集合中删除；在每个机架或节点上构建出T个全分布的数据条带，然后转向下一个机架或节点上继续构建条带，直到所有的机架或节点都不能构建完全分布的数据条带为止；对于上一步骤构建完全分布的数据条带之后剩下的数据块集合，如果该机架或节点上还有超过数据条带长度的数据块个数，则在该机架或节点上构建非完全分布的数据条带，先从每个非空数据块集合取出一个数据块，对于缺少的数据块则从仍然存在数据块的集合中选取，并将数据条带的核心机架或节点设置为当前机架或节点，并把这些数据块的另一存在机架或节点上的冗余数据块作为删除冗余数据时应该保留的数据副本，然后将这些冗余数据块从那个机架的数据块集合中删除；循环每个机架或节点构建非完全分布的数据条带，直至所有的机架或节点都不能创建非完全分布的条带为止；当所有的机架或节点都不能构建非完全分布的条带，如果机架或节点中仍有剩余的数据块，则将所有机架中数据块聚合在一起组建数据条带，并将数据条带的核心机架或节点设置为提供数据块数最多的机架或节点，并且为每个数据块选择一个不是核心机架的机架上的副本作为需要保存的副本；第二步：将数据条带的构建信息持久化存储将数据条带的构建信息，包括所需要的数据块，以及删除冗余数据块所需要留下的副本位置以及本数据条带的核心机架或节点存到数据库中，以便数据恢复时使用；第三步：分发校验数据块计算任务将数据条带的校验数据块计算任务作为映射规约工作提交，并把每个数据条带的工作指定到其核心机架或节点上，接收到任务的机架上的节点下载数据块，计算校验块，并将校验数据上传；第四步：删除冗余数据节点将除了第一步获得的需要保存的数据块保留之外，将其他冗余数据块删除；第五步：重新分布非完全分布的数据条带将非完全分布的数据条带以及跨机架的数据条带根据当前的数据块分布策略重新分布。