[发明专利]基于数据去重的移动Web请求处理方法、设备及系统

说明书

本发明公开了一种基于数据去重的移动Web请求处理方法、设备及系统，属于移动Web应用和数据处理技术领域。该方法针对移动Web领域中客户端缓存文件发生少量更新时网络传输大部分不必要的重复内容降低Web性能的问题，提出了在移动Web中采用移动Web请求数据去重机制，对更新文件根据缓存文件删除新版本中的重复数据生成差量文件，网络传输时只将差量文件返回给客户端，客户端根据差量文件和缓存文件进行还原，从而减少网络传输数据量；提出将差量文件解析与服务端渲染异步处理方法，从而减轻客户端的压力，减少动态数据的网络请求次数，提升整体Web性能。

技术领域

本发明属于移动Web应用和数据处理技术领域，更具体地，涉及一种基于数据去重的移动Web请求处理方法、设备及系统。

背景技术

互联网是当今最重要的信息传播及通讯平台，而万维网Web是互联网中最重要的平台之一，随着进入Web2.0时代，页面内容逐渐多样化和复杂化，如何获得较好的Web性能成为了研究热点。

随着移动设备的普及和移动互联网的快速发展，很多传统互联网应用正在向移动互联网方向转变。由于移动端的系统资源相对较缺乏，如较小的内存和存储容量、较弱的处理能力、较差的网络和连接性，请求呈现一个页面的速度要比PC端慢几秒到十几秒，所以针对移动端的优化更值得重视。

在信息爆炸时代，资源有限的移动设备对过多信息的处理能力明显不足。有相关研究表明，互联网应用里大量的数据信息存在很多冗余数据，去除冗余数据、减少数据传输量可以节约有限的存储空间、减少网络传输时间、节约用户的时间和成本，对移动互联网有重要的意义。

目前主要采用两种方法减少数据传输量：压缩技术和缓存技术。压缩技术针对每个原始文件进行压缩，减少文件传输体积，但是不能压缩文件之间的冗余，对两个相似文件分别压缩之后得到的压缩文件仍然有很多冗余数据。缓存技术可以有效减少网络请求数量，但缓存容量有限，且无法消除数据冗余问题。在文件系统及备份系统中，数据去重技术被采用来大规模识别和消除冗余数据，降低数据存储成本。但将传统领域的冗余消除技术直接应用到移动Web中，会增加额外的运算来进行计算和恢复，对于处理能力较弱的移动端，可能会影响整体Web性能，因此，针对移动Web应用，要实现一个有效的方法，既能消除冗余数据，又能提升整体Web性能。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于数据去重的移动Web请求处理方法、设备及系统，其目的在于减少移动Web请求处理过程中传输大量不必要的冗余数据降低Web性能的问题，既能有效消除冗余数据，又能提升整体Web性能。

为实现上述目的，按照本发明的一个方面，提供了一种基于数据去重的移动Web请求处理方法，包括：

S1、客户端向服务端发送页面请求，以使所述服务端向通用网关接口CGI请求动态数据并填充，渲染页面文件，其中，所述页面请求中包括页面文件；

S2、所述客户端接收所述服务端发送的渲染好的页面文件；

S3、所述客户端提取接收到的页面文件中的文件版本号信息，与缓存中的旧版本文件的版本号对比，若发现文件发生更新，则执行步骤S4；若文件没有更新，直接使用缓存中的旧版本文件；

S4、所述客户端向所述服务端发送差量文件请求，所述差量文件请求用于请求差量文件，所述差量文件由所述服务端在文件更新时离线生成，且在所述差量文件中包括新增的数据和未变数据内容对应的块号；

S5、所述客户端接收所述服务端发送的差量文件，并由所述差量文件中新增的数据和未变数据内容对应的块号将差量文件与缓存中的旧版本文件合并恢复新版本文件。

优选地，所述步骤S5包括以下步骤：

S51、初始化空字符串变量strResult表示计算得到的新文件；