[发明专利]一种基于访问频度变长逻辑分段的数据分发方法

说明书

技术领域

本发明涉及信息技术领域，特别涉及到由分布式节点组成的内容分发网络技术 领域中的一种基于访问频度变长逻辑分段的数据分发方法。

背景技术

CDN的全称是Content Distribution/Delivery Network，即内容分发网络。其目的 是通过在现有的Internet中增加一层新的网络架构，即提供透明服务的中间层，将网 站的内容发布到最接近用户的网络边缘，从而使得用户能以最快的速度，从最接近 用户的地方获得所需的信息，一方面，CDN可以减少延迟，解决Internet网络拥挤 的状况；另一方面，还可以有效实现多种宽带应用，提高响应速度和服务质量，特 别是在流媒体传输方面有着其它技术无可比拟的优势。

在CDN系统中，为了使用户快速取得数据，一个文件常常被生成多个副本，散 落的放置于网络中，如何对这些副本进行合理地生成和维护，则是CDN系统的重要 问题。P2P技术由于其自组织、负载均衡等优势，受到了广泛的关注，也越来越多的 被应用在CDN的研究中。

结构化P2P网络又称为分布式哈希表(简称DHT)，每个节点都通过某种哈希 算法得到一个唯一ID值，所有应用实体(如对象，object)，也通过该哈希算法得到 一个与节点ID在同一个数值空间的object ID值，同样也有一个唯一的放置节点，该 放置节点就叫做该object的主节点，称作home node。对object的查找即对其home node的定位，该过程是通过查询发起节点的邻居作为中介而逐跳进行的，直至找到 目标或查找失败为止。在DHT网络中，假设哈希值的ID空间为M个bit位的数值， 从左到右，所有匹配大于等于1位数值的ID，称为在一个等级，即一个level。一个 object如果其level为1，表示平均路由1跳就可以找到该object，因此，需要在1跳 覆盖之外的所有节点上对该数据进行备份。以Pastry为路由协议为例，object的level 为1则对应了一个楔形的节点区域，表示该区域的所有节点需要对object进行备份， 若网络中节点总数为N，基数为b，则需要N/b¹个节点进行备份。因此，如何计算每 个object所对应的level值，则是副本放置的关键。

文件的流行度是指一个文件受用户的欢迎程度，以用户对该文件的访问频率来 表示，比如被用户点播、下载的次数等。在CDN系统中，常常根据每个文件流行度 的不同来计算文件的副本等级数，生成对应副本并放置于网络中。实际中，大多数 的CDN主要对流媒体等大文件进行分发和存储，而通过视频点播等系统的研究发现， 尽管一个文件被点播了多次，但用户在整个文件时间域上的访问行为并不是平均分 布的。以电影为例，用户对文件的开头和结尾更感兴趣，而常常跳过对中间内容的 观看。同时，长度短的影片和长的影片也具有不同的访问规律。文件的时域访问特 征可以通过长时间积累的历史访问数据进行拟合得到，许多数值分析的相关方法可 以应用，这里不再赘述。因此，根据流行度信息对大文件整体进行副本生成，并不 符合用户的实际需求，同时，会导致大量存储空间被不常被访问的数据占用。

综上所述，可知一个文件在时间域上的用户行为特征，对正确放置数据副本有 着重要意义。

发明内容

为了解决上述问题，本发明的目的在于提供一种基于访问频度变长逻辑分段的 数据分发方法。该方法将文件切分成细粒度的单元，基于用户在文件不同时间段上 访问频度的差异，为文件生成变长逻辑分段，针对不同逻辑分段分别进行基于流行 度(即频度)的多副本放置，使数据在CDN网络中的副本分布更加符合用户的实际 访问习惯。同时，细粒度的文件切片，使得用户访问行为的统计更加精准，便于对 用户访问频度特征基于时间变化的更新，并应用于内容分发的副本生成上，使系统 中的数据分布自适应的随时间进行调整。另外，多级索引的应用，有效降低了数据 副本等级调整时所带来的通信开销，提高了系统性能。

为达到上述目的，本发明提供一种基于访问频度变长逻辑分段的数据分发方法， 对于分发到网络中的文件f，分发过程如下：

1)将文件切分为大小相等的小数据块(Unit Block，简称ub)序列 {ub₁，ub₂，...，ub_n}。