[发明专利]一种热点文件自动扩散的方法

说明书

技术领域

本发明涉及互联网技术领域，尤其是涉及一种热点文件自动扩散的方法。

背景技术

随着社会的发展，互联网用户快速增长带动了互联网经济的蓬勃发展，移动互联网、电子商务、网络视频、品牌网络广告、网上招聘、网络游戏等在极短的时间得到快速发展并积累了众多用户，成为了人们生活中不可或缺的一部分。

让人们越来越关注互联网技术的更新，如何更好更快更方便的共享互联网资源，成为人们共同的焦点。

CDN的全称是Content Delivery Network,即内容分发网络。其基本思路是尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节,使内容传输的更快、更稳定.通过在网络各处放置节点服务器所构成的在现有的互联网基础之上的一层智能虚拟网络,CDN系统能够实时地根据网络流量和各节点的连接、负载状况以及到用户的距离和响应时间等综合信息将用户的请求重新导向离用户最近的服务节点上.其目的是使用户可就近取得所需内容,解决Internet网络拥挤的状况,提高用户访问网站的响应速度。

热点文件在CDN领域中的解释为访问较为频繁的文件，比如一个门户网站上，当出现了一个热点的新闻事件，公众对这个新闻事件的访问比较频繁，这个文件就可称为热点文件；再比如一个热播的电视剧，公众通过下载观看的人数比较多，这个视频文件就可称为热点文件。

在CDN业务系统中，在cdn的缓存集群中，通常采用两层架构：负载均衡层和缓存层，负载均衡层通常采用一致性哈希策略将文件哈希到不同的缓存设备，达到节省集群存储和提高缓存命中率的作用。

在这种策略下，如果某些文件的访问特别集中，会造成集群各设备负载不均，使这些文件对应设备的负载增大甚至无法提供服务。

发明内容

本发明的目的在于提供一种热点文件自动扩散的方法，以解决上述背景技术中提出的问题和缺陷。

为实现上述目的，本发明提供如下技术方案：

一种热点文件自动扩散的方法，将热点发现分为两个维度：请求数和带宽；只要有一个维度判断成功，则认为发现热点文件，即进行热点扩散行为，热点文件的扩散由负载 均衡设备来完成，负载均衡设备访问后端缓存设备时不执行一致性哈希策略，随机选取缓存设备进行访问，再将被判断为热点的文件均衡地调度到每一台缓存设备。

在上述技术方案中，发现热点文件的具体过程为：

Q1：负载均衡设备每接收到一次请求，通过一致性哈希策略选择一台缓存设备，增加该缓存设备的请求数或带宽计数，以及增加该url的访问次数或带宽计数；

Q2：判断是否出现热点，即负载均衡设备判断是否有缓存设备的请求计数值或带宽数值超过所有设备均值和一个热点系数的乘积，如果超过则认为该缓存设备出现热点，

Q3：负载均衡设备查找该缓存设备中访问次数最多的url，认为该url需要做热点扩散，将该url加入到热点url集合中；

Q4：负载均衡设备从该缓存设备的请求计数值减掉该url的请求计数值或带宽计数值，再次判断该缓存设备的请求计数值或宽计数值是否超过所有缓存设备均值和一个热点系数的乘积，循环该操作，直到该设备的请求计数值或宽计数值小于所有设备均值和一个热点系数的乘积；

Q5：负载均衡设备收到用户请求后，判断该请求的url是否在热点url集合中，如果命中，则认为是热点文件，进行热点扩散，负载均衡设备访问后端缓存设备时不执行一致性哈希策略，随机选取缓存设备进行访问，再使该文件可以均匀访问到每一台缓存设备。

本发明的优点：

本发明实施例提供的一种热点文件自动扩散的方法,提供了两种判断方式，结构合理，使用方便，集群各设备负载均匀，使这些文件对应设备的负载增大且便利的随时提供服务。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一种热点文件自动扩散的方的当判断请求数维度时，负载均衡层的工作流程示意图。

具体实施方式