[发明专利]一种互联网缓存调度方法及系统

说明书

技术领域

本发明涉及移动通信技术领域，尤其涉及一种互联网缓存调度方法及系统。

背景技术

互联网技术中，流量缓存系统的基本思想就是以“存储换带宽”。这一设计理念是指在网络“边缘”部署缓存服务器，用以缓存互联网内容，并利用海量存储实现流量的本地化。通过利用缓存内容服务的后续请求，过滤掉重复的网络流量，从而有效缓解互联网出口流量压力，并大幅提升用户体验，帮助运营商从容应对互联网流量的冲击。

现有的互联网缓存技术主要通过静态配置域名白名单方式，将用户请求引导至缓存系统。某域名中已经引导至缓存的请求，一部分可以通过缓存中事先存储的内容为用户提供优质的服务。而该域名内剩余的动态内容必须通过缓存服务器去代理用户访问网站。

具体来说，在实现本发明的过程中，发明人发现现有的方案存在如下缺点：

由缓存代理用户访问内容由于增加了中间处理环节，反而会比用户直接访问网站慢，会造成缓存系统为用户服务的质量降低，主要体现在以下几方面：

动态内容过多的网站，访问速度反而低于缓存前；

当缓存内容已经失效时，仍然会将用户请求引导至缓存，造成用户无法访问；

缓存服务器需要代理用户下载，消耗服务器资源；

缓存网站种类多样，无法同时满足不同网站的需求。

现有技术中，尚没有一种可以等效计算用户的访问速度、获提取各项指标的缓存调度方案。

发明内容

本发明的目的在于克服现有技术的缺点和不足，提供一种互联网缓存调度方法及系统。

一种互联网缓存调度方法，所述方法包括：

确定用户所访问网站的类型；

获取不同类型的网站访问的速度、耗费时间、内容大小和访问次数参数；

根据所述网站类型和所述参数，使用相应的模式进行网络缓存。

所述确定用户所访问网站的类型，包括：

根据所述网站域名的关键字判断域名归属网站类型；和/或

根据识别缓存页面中内嵌的文件类型及大小，按照预先设定的识别规则，判断网站类型；和/或

根据泛域名分类，识别细域名归属；

建立域名类型列表，存储所述网站类型的信息。

所述不同类型的网站访问的速度、耗费时间、内容大小和访问次数参数，通过如下方式计算：

分别记录x次经过网口M传送内容的大小Smi，并计算总大小Sm=SUM(Smi,i=1,2,...,x)；所述网口M为网络与用户接口；

记录x次传送时间Tmi，并计算总时间Tm=SUM(Tmi,i=1,2,...,x)；

计算速度Vm=Sm/Tm；

同理，计算出网络与网站接口N、网口M到网口N之间的处理过程P的传送内容大小Sn、Sp，时间Tn、Tp和速度Vn、Vp；

区别用户直接通过网口M和N访问网站、通过网口M、处理过程P、网口N访问网站两种情况，分别计算对应的不同类型的网站访问的速度、耗费时间、内容大小和访问次数参数。

所述不同类型的网站访问耗费时间通过如下方式获取：

记录每次用户访问网站的统一资源定位符URL，以及文件保存路径；

将所述URL进行压缩，根据哈希值存储；

记录每次下载内容为动态内容还是静态内容，同时记录上下行标志；

服务器开始响应后记录时间t0；

开始建立TCP后记录时间t1；

TCP三次握手结束，开始传送内容后记录时间t2；

内容传送结束后记录时间t3和传送内容的大小，即S；

将所述URL、URL哈希值、文件保存路径、文件类型、动态内容或静态内容、上下行标志、t0、t1、t2、t3、S存入数据库表。

根据所述网站类型和所述参数，使用相应的模式进行网络缓存，包括：

所述模式分为速度优先模式、内容优先模式、下载次数优先模式和混合模式；

所述网站类型分为门户类、视频下载类、论坛交易搜索类和大型网站类。

所述方法还包括：

对所述门户类网站使用速度优先模式进行网络缓存；

对所述视频下载类网站使用内容优先模式进行网络缓存；

对所述论坛交易搜索类网站使用下载次数优先模式进行网络缓存；

对所述大型网站类网站使用混合模式进行网络缓存。

一种互联网缓存调度系统，所述系统包括网站类型确定单元、参数获取单元及缓存单元，其中，