[发明专利]一种缓存预取的方法和系统

说明书

本申请提供了一种缓存预取的方法和系统，该方法的步骤包括：根据用户访问序列的聚簇构建预测模型；利用预测模型对当前输入的用户路径进行比对，预测该用户即将访问的下一个Web页面。本申请所述技术方案在构建对Web页面的预测模型时考虑了用户行为模式的因素，使得模型的影响参数更加全面和精确，从而提升了利用模型进行预测时的准确率，同时通过将部分访问序列聚类的方式，节省了内存空间，大大提升了服务器的工作效率，带给用户更好的使用体验。

技术领域

本申请涉及网络通信领域，特别涉及一种缓存预取的方法和系统。

背景技术

随着Web在过去数十年的飞速发展，其低延迟和快响应的要求对于用户来说已经变得越来越有必要，而缓存是解决Web响应速度问题的一个重要途径。代理服务器作为用户和远端服务器之间的中间站，其缓存可以通过预取将用户想要读取的部分数据提前存在本地，避免从远端服务器访问数据而造成过多的网络开销。

目前缓存预取方法研究成果主要包括DG图、神经网络、基于频繁模式的挖掘、马尔可夫模型等，其中马尔可夫模型因其较高的准确率和较强的实时性被广泛使用。以马尔可夫模型为基础的预取方法需先建立一个预测模型，该模型一般采用树型形式，将每个Web页面作为树中的结点，依据现有的缓存日志将这些访问序列添加至树中，从根到某一叶子结点的串联序列被定义为用户的一个访问路径。通过该预测模型，可以对新输入的用户访问路径做出下一步预测，提前将该预测到的页面放入缓存，提高代理服务器的缓存命中率。同时，本次访问也将作为日志添加到预测模型中。

但通常采用的基于马尔可夫模型的预测方法具有如下不足：1.预测模型构建时，无差别对待不同用户给出的数据，只记录页面的被访情况，不区分不同的用户，不能表现不同用户访问模式对预测模型的影响，这样会影响最终的预取结果；2.这种预取方法通常会记录每一个用户发生的每一次访问记录，占用较大的内存空间，但有的用户访问路径价值并不高，较大的空间代价并未换来对应的较高预测准确率。

Web代理服务器实时不间断地接收不同用户的各种请求，对于代理服务器的缓存来说，缓存那些经常被访问的数据项显然更有价值，有的用户经常对该服务器进行有效访问，其提供的浏览模式和数据在构建模型时具有更大的价值。事实上，用户和Web请求之间的关系基本符合Zipf-like分布规律，即“20％的用户提供80％的访问”，因此对用户本身进行差异化区别是非常有必要的。

发明内容

为解决上述问题之一，本申请提供了一种缓存预取的方法和系统。

根据本申请实施例的第一个方面，提供了一种缓存预取方法，该方法的步骤包括：

根据用户访问序列的聚簇构建预测模型；

利用预测模型对当前输入的用户路径进行比对，预测该用户即将访问的下一个Web页面。

优选地，所述根据用户访问序列的聚簇构建预测模型的步骤包括：

利用分布模型和划分规则对用户的贡献度进行分级；

对等级最低的多个用户的访问序列进行两两比较，获得序列之间的距离度量值，并根据距离度量值确定序列之间的相似度；

利用无监督的K-Means方法将序列聚类，获得每个聚簇的中心；

将多个聚簇中心序列作为代表组成预测模型。

优选地，所述分布模型为：F(r)＝D/r^α，其中，D为常数，r代表d的排列位次，d每个用户均获得一个代表其访问情况的值，F(r)则是排列位次是第r个的用户发出请求的频度，

所述划分规则为：