[发明专利]一种基于机器学习的智能Web代理缓存系统及方法

说明书

本发明特别涉及一种基于机器学习的智能Web代理缓存系统及方法。该基于机器学习的智能Web代理缓存系统及方法，在智能Web缓存机制下，结合Web访问过程中数据吞吐量大的特点，针对每个用户的客户端硬件实际情况，合理利用CPU和内存，在Web缓存过程中利用闲置CPU资源，采用基于机器学习的方法对已缓存内容进行训练和学习，为Web用户提前保存对应领域的内容到缓存中，实现在访问过程中一次请求就能读到缓存的高效性和便捷性。

技术领域

本发明涉及人工智能技术领域，特别涉及一种基于机器学习的智能Web代理缓存系统及方法。

背景技术

Web缓存游走于服务器和客户端之间。这个服务器可能是源服务器(资源所驻留的服务器Add)，数量可能是1个或多个；这个客户端也可能是1个或多个。Web缓存就在服务器-客户端之间搞监控，监控请求，并且把请求输出的内容(例如html页面、图片和文件)(统称为副本)另存一份；然后，如果下一个请求是相同的URL，则直接请求保存的副本，而不是再次麻烦源服务器。

通常情况下，使用Web缓存有2个主要原因：

一是降低延迟：缓存离客户端更近，因此，从缓存请求内容比从源服务器所用时间更少，呈现速度更快，网站就显得更灵敏。

二是降低网络传输：副本被重复使用，大大降低了用户的带宽使用，若是在流量付费的前提下其实也是一种变相的省钱，同时保证了带宽请求在一个低水平上，使得网络传输更容易维护。

余信达于北京邮电大学发表的硕士学位论文《基于代理服务器的Web智能缓存系统研究与设计》中，在原有Web端缓存系统的基础之上，对原本的代理缓存服务器缓存管理、替换、预取等策略进行深入研究和分析，由此引入了基于区域热点扩散的新缓存管理算法，同时在单点缓存代理中针对两种情况分别对缓存空间设计了缓存空间节约算法，实现了细粒度文件级的缓存节约策略。然后从基于区域“热点”发现的预取模式方面进行深入挖掘研究。最后，设计实现了新型的Web智能缓存系统。

该论文虽然在缓存管理、替换、预取等方面有所创新，但是对CPU的占用率依然很高，没有有效结合实际情况下内存和CPU的可用性和利用率问题。

为了解决CPU的占用率高的问题，本发明设计了一种基于机器学习的智能Web代理缓存系统及方法。

发明内容

本发明为了弥补现有技术的缺陷，提供了一种简单高效的基于机器学习的智能Web代理缓存系统及方法。

本发明是通过如下技术方案实现的：

一种基于机器学习的智能Web代理缓存系统及方法，其特征在于：包括监控组件，预处理组件，离线训练组件，缓存分类器，页面爬虫组件，在线交互组件和插件生成组件七部分；

其中，监控组件负责利用Jmeter对用户电脑内存和CPU进行监控，形成用户内存使用率和CPU占用率的趋势图；

所述在线交互组件负责缓存，与用户进行直接交互，得到用户访问的原始数据；

所述预处理组件负对将用户访问的原始数据进行缓存分类，自然语言处理NLP分词和分词过滤；

所述离线训练组件则负责在CPU较为空闲，内存占用较少的时候工作，对已有缓存内容进行处理，不断学习和训练优化，从而不断调整缓存分类器；

所述缓存分类器根据离线训练组件经多次训练和学习得到的相关参数进行设置，并将其分类；

所述页面爬虫组件负责将对应关键字的一些网页爬取出来，按照时间排序，将最新的500条网页记录保存于缓存中；

所述插件生成组件负责整合和封装监控组件，预处理组件，离线训练组件，缓存分类器，页面爬虫组件和在线交互组件的内容，并且经过浏览器兼容性处理，形成通用的浏览器插件。