[发明专利]一种基于云端的文件去重方法

说明书

技术领域

本发明涉及一种基于云端的文件去重方法，属于网络技术领域。

背景技术

HTTP缓存加速是一种通过将互联网资源本地化从而加速局域网内对互联网资源的访问，以及缓存互联网出口带宽高的方法。该方法的原理是侦听局域网内重复的URL请求，如果对同一URL的请求达到一定次数,则将URL指向的资源下载到本地，当局域网内有同样的URL请求时,通过HTTP协议中的302重定向响应，将局域网内的外网请求重定向到内网。

然而现有技术中存在以下两种现象：一，在当前的网络环境下，由于用户对网站访问速度的高要求，大部分网站都会采用CDN节点的方式进行加速。CDN节点加速的原理为，通过判断用户访问的IP，返回靠近用户地理位置的服务器地址。二，软件开发商出于对软件分发的需求，相同的软件会被分发到不同网站上，以便最大化的分发软件。

网站采用CDN节点加速或者软件分发到不同的网站，同样的资源被分发到不同的服务器。HTTP缓存加速设备在侦听时，不同的URL请求可能会指向相同的资源内容。导致HTTP缓存加速设备重复下载同样的文件，降低加速效果。

因此，需要一种可以针对相同文件不同URL的去重方法。典型的方案是，HTTP缓存加速设备可以通过对URL指向文件的内容进行判断，如果同样的URL指向的文件内容相同，则说明这些URL指向的是同一个文件，只需要保存一份文件。

但是，这种典型的方案的缺点是，只有当局域网用户内访问过URL后，HTTP缓存加速设备方能知晓URL和文件的对应关系。

因此，需要一种基于云端的文件去重方法。

发明内容

发明目的：针对现有HTTP缓存加速中文件去重技术的不足，本发明提供一种更加完善的相同文件不同URL去重的实现方法，即一种基于云端的文件去重方法。

技术方案：一种基于云端的文件去重方法，通过不同的HTTP缓存加速设备将自身所存储的URL与文件内容的对应记录，上传到云端，云端整合文件MD5值相等的所有设备上传的记录，并下发到各个HTTP缓存加速设备。HTTP缓存加速设备获取到云端提供的记录后，读取其中的URL与文件内容的对应关系。从而在局域网内用户首次访问URL即能提供加速功能。

HTTP缓存加速设备在本发明中主要发挥加速局域网内对外网资源访问的作用。在实际应用中，HTTP缓存加速设备可以有效的为局域网节省大量的带宽，降低局域网对带宽的需求，从而节省资金，具有很高的实用价值。

云服务端并不存储文件，仅存储文件MD5值与URL的对应记录。

基于云端的文件去重方法，具体流程为：

步骤01，第一局域网内的用户访问第一URL指向的第一文件；

步骤02，第一局域网内的HTTP缓存加速设备侦听到该请求，记录对应关系，第一URL对应第一文件，并计算第一文件的MD5值；

步骤03，第二局域网内的用户访问第二URL指向的第二文件；

步骤04，第二局域网内的HTTP缓存加速设备侦听到该请求，记录对应关系，第二URL对应第二文件，并计算第二文件的MD5值；

步骤05，第一局域网和第二局域网内的HTTP缓存加速设备分别将URL文件对应记录上传到云服务端；

步骤06，云服务端收到两台设备上传的记录后，发现第一文件的MD5值与第二文件的MD5值相同，于是得到如下记录，第一URL与第二URL指向的文件内容相同，同时合并第一URL和第二URL与文件的对应记录；

步骤07，云服务端下发合并后的URL文件对应关系到各个HTTP缓存加速设备；

步骤08，第二局域网内的HTTP缓存加速设备收到记录后，读取其中的对应关系；

步骤09，第二局域网内的用户访问第一URL指向的第一文件；

步骤10，HTTP缓存设备通过同步的记录发现第一URL指向的第一文件即本机所存储的第二文件，于是重定向第二文件的内容。

有益效果：与现有技术相比，本发明提供的基于云端的文件去重方法，不仅能够有效的判断文件与URL的对应关系，而且不同网内的HTTP缓存加速设备对于不同URL指向的相同文件只需要下载一次。本发明可应用于所有HTTP缓存加速场景，具有较为广泛的应用型。

附图说明

图1为网络拓扑示意图；

图2为单个HTTP缓存加速节点网络拓扑示意图；

图3为云服务端去重流程图。

具体实施方式