[发明专利]基于数据去重技术的网络资源预取方法以及系统

说明书

本发明公开了一种基于数据去重技术的网络资源预取方法以及系统，包括以下步骤：客户端向服务器端发送访问请求的时候，使用代理服务器，记录下用户的网络访问行为信息，提取访问日志；通过对网络日志的Web挖掘和分析提取网络行为特征获取访问规律，通过预测引擎采用预测算法预先分析下一时间最可能访问的网络资源，并预取到缓存中；由于缓存大小有限，那么存储在缓存中的资源经过数据去重技术处理后存储在缓存中，本发明能够在保证预取效率的前提下更能节省存储空间，提高数据传输率，减少网络延迟，缓解网络访问高峰期的网络流量压力并节省带宽，提高系统利用率。

技术领域

本发明涉及网络技术领域，具体涉及基于数据去重技术的网络资源预取方法以及系统。

背景技术

随着互联网信息和用户的大量激增，如何提高网络服务质量、实现WWW加速是目前急需解决的问题。Web缓存机制、Web预取和重复数据删除技术能够有效减少网络延迟。Web缓存技术基于时间局部性原理，采用高效的替换算法，将用户可能访问的资源提前缓存，应用于代理服务器、P2P网络和移动网络等网络环境，但受限于命中率。Web预取技术试图在用户提出请求之前主动预取资源，在一定程度上提高了命中率，降低了访问延迟，但由于Web预取机制是一种投机机制，会导致带宽增加。同时该方法需要谨慎控制，否则将大大的降低性能，违背了原本的意图。数据去重技术旨在通过检测并去除重复数据的占用空间。目前发现若引用相同关键字的一个资源的两个版本就会有55%的重复冗余数据。若是该参考源是学术性的则重复度高达87%。利用数据对象之间的信息冗余，可以获得远高于传统压缩方法及增量备份方法的空间利用率，减少传输数据的字节释放部分占用带宽，减少网络延迟。若是能将Web预取技术与数据去重技术结合起来，对有效减少网络延迟将有重大意义。

现有的Web预取技术减少期望延迟首先应用在Mozilla Firefox浏览器上，然后Google搜索引擎采纳该技术。Google Web Accelerator软件配合火狐或IE浏览器一起工作，实现基于浏览器的预取。有关预取技术的商业软件Robtex Viking Server和AllegroSurf，但是关于预取的具体方案并没有透露。但是存在投机性，有时还会额外增加带宽。因此，Web预取方法需要谨慎使用。也正是因为潜在的带宽受限而使得Web预取技术在商业领域的应用前景不够乐观。

发明内容

针对现有技术中存在的缺陷和问题，本发明提供一种基于数据去重技术的网络资源预取方法以及系统，能够通过降低传输数据冗余度的方法以提高预取效率和减少网络延迟。

本发明解决其技术问题所采用的方案是：一种基于数据去重技术的网络资源预取方法，包括以下步骤：

首先，在客户端与服务器端之间连接代理服务器端，客户端向服务器端发送访问请求的同时，代理服务器记录下用户的网络访问行为信息，提取访问日志；

其次，代理服务器对网络访问日志进行Web挖掘和分析，提取用户行为特征并获取网络访问规律；从访问日志中挖掘出用户的访问偏爱从而提取用户网络访问行为特征的步骤包括：对访问日志进行数据清洗预处理，剔除日志文件中访问失败的记录和不可缓存的对象，从预处理过的网络访问序列中提取用户浏览特征；

同时，通过预测引擎采用预测算法预先分析下一时间用户最可能访问的网络资源，并预取到缓存中；所述预测引擎是在每一次资源被请求的时候预测即将可能访问的页面，依据预测算法将产生一系列的在最近被访问频率最高的资源的URL，并将结果放入到决策数据库中；用户行为特征通过Markov链模型能够精确地描述用户浏览特征，利用Markov树将用户对网页的浏览行为建模，采取基于访问概率的预测算法预测出下一时间用户最可能发出的访问请求；

最后，将预取在缓存中的资源经过数据去重技术处理后存储在缓存中；其中，对预取的资源进行数据去重处理的步骤包括：

客户端的重复数据删除模块CDM运行在客户端浏览器，用以存储最近最新的网络资源，并依据唯一的识别器指示相应资源如何对应位于服务器端的SDM模块；