[发明专利]用于异构系统的分布式存储分配

说明书

描述了在基于计算机的分布式存储系统中存储预算的分配，其中相关的基于计算机的存储节点具有异构访问概率。问题是，跨越可用的基于计算机的节点，分配给定的存储预算，以便用更高的可靠性(例如，增加了存储预算被恢复的概率)存储单位大小的数据对象(例如，文件)。提出了用于优化一个或多个类别的分配的有效的算法。提出了基本的一级对称分配，其中存储预算均匀散布在适当选择的节点子集上。此外，提出了二级对称分配，其中预算被分为两部分，每个部分均匀散布在基于计算机的存储节点的不同子集上，使得分配到第一子集中的每个节点的量是第二子集中每个节点的量的两倍。以三级对称分配和推广的k级对称分配，提供了二级对称分配的进一步的延伸。

相关申请的交叉参考

本申请要求2013年3月14日提交的美国临时专利申请序列号No.61/784,282、题为“异构系统的分布式存储分配(Distributed Storage Allocation for HeterogeneousSystems)”的优先权，通过引用其全部公开内容并入本文。

政府资助声明

本发明是由政府支持在空军授权的FA9550-10-10166下进行的。政府享有本发明的一定权利。

背景

技术领域

本公开涉及与如在内容分发或无线通信中所用的网络通信和分布式网络架构的领域相关的方法和算法。特别地，本公开提出了新的分布式存储分配技术，例如，该分布式存储分配技术可以被用于通过包括具有异构访问概率的存储节点的分布式存储的网络进行通信。目的是通过分布式存储来存储给定的数据对象(例如，文件)，其具有成功恢复的最大概率。数据对象可以跨越多个存储节点进行拆分和编码。假设使用适当的编码(例如，最大距离可分(MDS)码、随机线性编码)，如果访问的数据的总量是至少原始数据对象的大小，则原始数据对象可以被恢复。

概述

根据本公开的各种实施例，在分布式存储系统中的各种存储节点可以按照其访问概率的递减次序进行布置(例如，具有最高故障概率的节点是最后的)。在本公开中提出了基于一个或多个级别的对称分配的新方法。在基本的一级对称分配中，整个存储预算被均匀散布在第一m节点上，其中，例如，基于故障概率确定m的值。在二级对称分配中，预算被分为两部分，一部分均匀散布在第一m1节点上，并且另一部分均匀散布在随后的m2节点上，使得分配到第一子集中的每个节点的量是第二子集中的每个节点被分配的量的两倍。还提出了衍生自二层分配的k级对称分配，其中k＝2。根据本公开的各种实施例，提供了给定访问概率的、找到良好的一级、二级和k级对称分配的有效算法。

尽管它们的低复杂度，如本公开的各种图所呈现的，在数值实验中，在相同的参数设置下，根据本公开一级、二级和k级对称分配可以胜过基于大偏差不等式和凸优化的现有的方法。此外，根据本公开新的二级和k级对称分配可以实现比新的一级对称分配更高的恢复概率。此外且根据本公开，对于小数量的节点(例如，n≤4)，可以穷举确定的精确最优分配可以在一级和二级对称分配中被找到。

除了分布式存储以外，上述方法还可以应用于其他问题，诸如例如，应用于实时流传输的编码设计问题，其中消息可以顺序地到达源(例如，基于计算机的工作站)，并且消息在源进行编码，以用于通过数据包删除通道传输到汇节点(例如，基于计算机的工作站)，汇节点需要在指定延迟内对消息顺序地进行解码。在各种网络场景中，数据包延迟(例如，如被同步节点接收)可以表现出差异，导致数据包接收的概率随着延迟而增加。通过将实时流传输问题中的传输的数据包视作存储分配问题中的节点，使用对应的异构时滞相关损失概率，异构存储分配问题的解决方案转化为对应的流传输问题的会话内编码。