[发明专利]基于数据去重技术的网络资源预取方法以及系统

摘要

本发明公开了一种基于数据去重技术的网络资源预取方法以及系统，包括以下步骤：客户端向服务器端发送访问请求的时候，使用代理服务器，记录下用户的网络访问行为信息，提取访问日志；通过对网络日志的Web挖掘和分析提取网络行为特征获取访问规律，通过预测引擎采用预测算法预先分析下一时间最可能访问的网络资源，并预取到缓存中；由于缓存大小有限，那么存储在缓存中的资源经过数据去重技术处理后存储在缓存中，本发明能够在保证预取效率的前提下更能节省存储空间，提高数据传输率，减少网络延迟，缓解网络访问高峰期的网络流量压力并节省带宽，提高系统利用率。

主权项

1.一种基于数据去重技术的网络资源预取方法，其特征在于：所述方法包括以下步骤：首先，在客户端与服务器端之间连接代理服务器端，客户端向服务器端发送访问请求的同时，代理服务器记录下用户的网络访问行为信息，提取访问日志；其次，代理服务器对网络访问日志进行Web挖掘和分析，提取用户行为特征并获取网络访问规律；从访问日志中挖掘出用户的访问偏爱从而提取用户网络访问行为特征的步骤包括：对访问日志进行数据清洗预处理，剔除日志文件中访问失败的记录和不可缓存的对象，从预处理过的网络访问序列中提取用户浏览特征；同时，通过预测引擎采用预测算法预先分析下一时间用户最可能访问的网络资源，并预取到缓存中；所述预测引擎是在每一次资源被请求的时候预测即将可能访问的页面，依据预测算法将产生一系列的在最近被访问频率最高的资源的URL，并将结果放入到决策数据库中；用户行为特征通过Markov链模型能够精确地描述用户浏览特征，利用Markov树将用户对网页的浏览行为建模，采取基于访问概率的预测算法预测出下一时间用户最可能发出的访问请求；最后，将预取在缓存中的资源经过数据去重技术处理后存储在缓存中；其中，对预取的资源进行数据去重处理的步骤包括：客户端的重复数据删除模块CDM运行在客户端浏览器，用以存储最近最新的网络资源，并依据唯一的识别器指示相应资源如何对应位于服务器端的SDM模块；服务器端的重复数据删除模型SDM用以组合最终响应的数据块，当SDM接收到一个给定的资源的请求，它检索由CDM发送的引用资源标识符的一个自定义的请求报头，然后SDM从服务器中取出该资源，接收过充分响应的报头和数据后，SDM给资源分配一个新的标识符，将资源数据划分为块，块的元信息存储在数据存储文件中；在这个数据存储库中SDM保证了由块的哈希索引的元信息资源的所有版本的所有块；当CDM收到响应后，为所有的数据重建原有的资源，包括从本地缓存资源中复制块引用信息和复制接收到响应的非冗余数据内容。