[发明专利]基于数据去重技术的网络资源预取方法以及系统

权利要求书

1.一种基于数据去重技术的网络资源预取方法，其特征在于：所述方法包括以下步骤：

首先，在客户端与服务器端之间连接代理服务器端，客户端向服务器端发送访问请求的同时，代理服务器记录下用户的网络访问行为信息，提取访问日志；

其次，代理服务器对网络访问日志进行Web挖掘和分析，提取用户行为特征并获取网络访问规律；从访问日志中挖掘出用户的访问偏爱，从而提取用户网络访问行为特征，其具体步骤包括：对访问日志进行数据清洗预处理，剔除日志文件中访问失败的记录和不可缓存的对象，从预处理过的网络访问序列中提取用户浏览特征；

同时，通过预测引擎采用预测算法预先分析下一时间用户最可能访问的网络资源，并预取到缓存中；所述预测引擎是在每一次资源被请求的时候预测即将可能访问的页面，依据预测算法将产生一系列的在最近被访问频率最高的资源的URL，并将结果放入到决策数据库中；利用Markov树将用户对网页的浏览行为建模，采取基于访问概率的预测算法预测出下一时间用户最可能发出的访问请求；

最后，将预取在缓存中的资源经过数据去重技术处理后存储在缓存中；其中，对预取的资源进行数据去重处理的步骤包括：

客户端的重复数据删除模块CDM运行在客户端浏览器，用以存储最近最新的网络资源，并依据唯一的识别器指示相应资源如何对应位于服务器端的重复数据删除模型SDM模块；

服务器端的重复数据删除模型SDM用以组合最终响应的数据块，当SDM接收到一个给定的资源的请求，它检索由CDM发送的引用资源标识符的一个自定义的请求报头，然后SDM从服务器中取出该资源，接收过充分响应的报头和数据后，SDM给资源分配一个新的标识符，将资源数据划分为块，块的元信息存储在数据存储文件中；在这个数据存储库中SDM保证了由块的哈希索引的元信息资源的所有版本的所有块；

当CDM收到响应后，为所有的数据重建原有的资源，包括从本地缓存资源中复制块引用信息和复制接收到响应的非冗余数据内容。

2.根据权利要求1所述的基于数据去重技术的网络资源预取方法，其特征在于：日志文件用户网络访问行为信息包括用户访问请求的访问时间、用户IP地址、访问资源的文件名或脚本以及参数域。

3.一种基于数据去重技术的网络资源预取系统，其特征在于：在用户路径与Web服务器之间增设模拟器系统框架，所述模拟器系统框架包括客户端和代理服务器端，客户端可预取客户浏览器的用户行为，客户端与代理服务器端连接，代理服务器端与Web服务器连接；

所述客户端包括6个模块和2个存储文件：

6个模块分别为：

读取路径模块：读取用户的请求序列，根据请求序列生成的 数据结构是先入先出的访问队列；

预取管理模块：读取所述的访问队列，检查预取对象池，确认资源是否已经预取过；若没有预取过，则把请求发送给服务器，预取管理模块创建多个用户请求线程并等待一个新的请求；当从服务器接收到响应资源时，预取管理模块检查其URL是否在预取队列中，若在则移除URL并插入到预取对象池；预取管理模块同时检查请求队列是否为空，若为空则允许预取请求发给服务器，直到一个新的用户请求到来；当一个新的客户端请求插入队列时，预取管理模块暗示删除已经预取过的资源并清空暗示队列数据存储；

用户请求模块：接收来自预取管理模块的请求，再传递给请求模块；当从服务器接收到一个响应资源时，用户请求模块把响应报头的队列插入到预取队列数据存储中，把资源的URL插入到预取对象池中；

请求模块是用于连接Web服务器，负责处理底层通信；

CDM模块：客户端数据去重模块，拦截客户端用户请求模块或者是预取请求模块发送的HTTP请求报文；询问资源版本号得到客户端缓存中的所有资源的资源标识符，CDM通知通信拦截模块；

通信拦截模块：为信息添加自定义报头“X-vrs”，并把报头信息附加在HTTP请求报头上，传递给请求模块，最后传给服务器；

2个存储文件分别为：

预取队列：存放服务器告知客户端需要预取的对象信息；

预取对象池：存放所有已经预取的对象，作用类似用户浏览器缓存；

所述代理服务器端包括：

监听模块：等待连接到客户端的线程队列，给定一个端口号；

服务器连接模块：处理客户端和服务器端之间的连接，将服务器端的资源数据传递给客户端；

通信拦截模块：拦截来自服务器端的最原始的HTTP响应存储在临时缓冲区内并做预处理；

SDM模块：服务器端数据去重模块执行对通信拦截模块转交过来的消息实体的数据拆分过程；

通信重组模块：准备并发送响应报文的复制版本；组合响应报头信息：更新/创建Content-Length附加上新的实体消息数据长度；添加两个新的报头信息资源版本号标识符和元数据长度；

预测引擎模块：在每一次资源被请求的时候预测即将可能访问的页面，依据预测算法将产生一系列的在最近被访问频率最高的资源的URL，并将结果放入到决策数据库中。