[发明专利]一种分布式存储方法和装置

说明书

技术领域

本发明涉及互连网存储方法，尤其是一种分布式存储方法。

背景技术

传统的数据存储机制是集中化的存储方式，数据存储在内容提供者的服 务器中。内容提供者为了应对存储空间增长的需求，需要经常购买新的存储 设备来扩大他们服务器的存储能力。

传统的多媒体内容提供者使用集中化的客户机-服务器模式来传输多媒 体内容给客户节点。为了改进服务质量QoS，提供者通常在一些主要ISP (internet service provider，网络服务提供商)的网络中部署多个拥有原始多 媒体数据相同拷贝的CDN服务器Content Distribution Network，业务分发网 络。由于严格的QoS要求，这些CDN服务器也承受着昂贵的维护开销。

一种可能的方法是分布式存储方法。分布式存储方法主要指用P2P网络 来替换CDN网络，一些性能较强的节点下载了内容之后承担CDN服务器的 角色作为数据源给客户节点上传多媒体数据。在下文中称呼这些作为数据源 的节点为副本节点。虽然这些副本节点有能力提供CDN服务器相同的功能 而无需任何额外的维护开销，但是他们可靠性低。一方面P2P网络由于节点 频繁加入退出会导致网络的扰动，另一方面P2P节点的上传能力和CDN服 务器比起来是很差的，因此P2P副本节点的效力不高。分布式存储方法要有 能力协调大量的副本节点，客户端通过和多个副本节点建立并行连接，多个 副本节点就可以一起提供更好的上传能力。

设计分布式存储方法的难点在于存储策略。由于副本节点存储空间有 限，不可能要求每个副本节点存储网络中每个多媒体文件的完整拷贝。替换 的，而是先将多媒体数据分割成多个数据块，副本节点有选择的存储一些数 据块。当一个客户端请求某个多媒体内容时，它从不同的副本节点一个个下 载对应的数据块。为了简化在在副本节点中搜索请求的数据块的搜索过程， 一个多媒体内容分割的数据块的数量不能太大。但是分割的数据块的数量太 少的话又会导致数据块很大，每个副本节点能存储的数据块就少了，因此拥 有被请求块的概率也小了，能够满足请求的节点数量也小了。对于那些要求 严格时间限制的IPTV和VOD系统，客户端能否及时下载数据对系统的QoS 非常关键。由于潜在的上传者数量有限，客户节点不可能建立足够的并行下 载连接以获取很好的下载性能。数据块交错策略允许副本节点充分利用它们 的上传能力为客户端服务。客户节点获得高下载速率的概率提高了。

一种分布式存储方法中，副本节点选择性地存储来自不同内容的数据 块，而不是存储一些内容的完整拷贝。数据分割并交错存储后，下载就是 一个块驱动的过程，搜索和调度过程以数据块为单位进行。由于数据交错存 储，相邻的数据块存储在不同的副本节点上，因此需要一个复杂的调度机制。 数据块的存储也导致了大量的通讯开销，因为客户端需要频繁地搜索要请求 的数据块并在副本节点之间传输调度信令。

发明内容

本发明实施方式提供一种分布式存储方法及装置，提高分布式存储的效 率。

本发明实施方式的一个方面，提供了一种分布式存储方法，副本节点接 收中央服务器发送的由该副本节点对内容进行存储的指示，该对内容进行存 储的指示携带有该内容的信息；该副本节点根据该内容的信息和该副本节点 上的可用存储空间为该内容分配存储空间；该副本节点计算该内容在该副本 节点上的存储系数K，该存储系数K由该内容的大小和为该内容分配的存储 空间的大小确定；该副本节点以1/K的概率从该中央服务器随机下载并存储 由该内容划分而成的数据块。

本发明实施方式的另一个方面，提供了一种分布式存储装置，即前文该 的副本节点，包括接收单元，用于接收中央服务器发送的由该分布式存储装 置对内容进行存储的指示，该对内容进行存储的指示携带有该内容的信息； 分配单元，用于根据该内容的信息和该分布式存储装置上的可用存储空间为 该内容分配存储空间，计算该内容在该分布式存储装置上的存储系数K，该 存储系数K由该内容的大小和为该内容分配的存储空间的大小确定；存储 单元，用于以1/K的概率从中央服务器随机下载并存储由该内容划分而成的 数据块。