[发明专利]网络数据压缩方法和系统

说明书

技术领域

本发明涉及计算机网络技术，特别是涉及一种网络数据压缩方法和系统。

背景技术

随着网络基础设施的发展，越来越多的高带宽网络为用户提供高速网络服务，然而，由于网络用户的激增和占用高带宽的应用越来越多，例如，多媒体应用等，使得网络带宽资源越来越紧缺，为增加网络带宽而产生的成本也越来越高。

为了避免网络带宽需求而产生的成本无限制地增加，各种减少网络流量的技术被应用于网络服务中，其中，最为有效的减少网络流量的新技术为网络冗余删除技术，网络冗余删除技术的原理是对传输的数据按一定的规则进行分块，并计算数据分块的指纹，双方网络设备保存首次经过的数据块和指纹到双方的字典中，待发现重复的数据块就使用字典中的指纹来来代替重复数据块的传输，当数据到达接收端后，接收端根据指纹信息从接收端的字典中恢复出相应的数据块即可，指纹信息的长度远小于数据块的长度，从而减少传输的数据量，达到减少网络带宽消耗目的。但是，网络冗余删除技术识别重复数据块计算量非常大，需要耗费较大的计算开销,同时对内存、存储空间、IO访问等方面有较大的处理开销需求。

发明内容

基于此，有必要提供一种能降低计算开销同时不减少网络数据去冗率的网络数据压缩方法。

此外，还用必要提供一种能降低计算开销同时不减少网络数据去冗率的网络数据压缩系统。

一种网络数据压缩方法，包括如下步骤：

通过数据发送端判断网络数据对应的类型是否属于预设的网络流量类型，若是，则采用网络代理缓存实现网络数据的压缩得到所述网络数据对应的标识信息，并传输所述标识信息，

若否，则采用网络冗余删除处理来实现网络数据的压缩得到所述网络数据对应的指纹信息，并传输所述指纹信息；

通过数据接收端接收所述指纹信息和标识信息，并根据所述标识信息提取曾缓存于所述数据接收端的网络数据，根据所述指纹信息恢复网络冗余处理前的网络数据；

汇聚所述标识信息对应的网络数据和指纹信息对应的网络数据。

在其中一个实施例中，所述采用网络冗余处理来实现网络数据的压缩得到所述网络数据对应的指纹信息，并传输所述指纹信息的步骤为：

对所述网络数据进行分块得到所述网络数据包含的数据块；

计算所述数据块的指纹信息；

判断所述数据块的指纹信息是否存在于数据发送端的字典中，若是，则将所述数据块对应的指纹信息代替数据块传输。在其中一个实施例中，所述采用网络冗余处理来实现网络数据的压缩得到所述网络数据对应的指纹信息，并传输所述指纹信息的步骤还包括：

若判断到数据块的指纹信息不存在于数据发送端的字典中，则将所述数据块和指纹信息关联存入数据发送端的字典中，并传输所述数据块。

在其中一个实施例中，所述采用网络代理缓存实现网络数据的压缩得到所述网络数据对应的标识信息，并传输所述标识信息的步骤包括：

判断所述网络数据所对应的标识信息是否存在于缓存的网络数据中，若是，则

提取所述标识信息，并向所述数据接收端传输所述标识信息。

在其中一个实施例中，所述根据所述标识信息提取曾缓存于所述数据接收端网络数据，根据所述指纹信息恢复网络冗余处理前的网络数据的步骤包括：

从数据接收端缓存的网络数据中提取与所述接收到的标识信息对应的网络信息；

从数据接收端的字典中根据接收到的指纹信息提取相应的数据块，将所述提取得到的数据块汇聚恢复成冗余删除处理前的网络数据。

一种网络数据压缩系统，包括数据发送端和数据接收端，所述数据发送端包括：

类型判断模块，用于判断网络数据对应的类型是否属于预设的网络流量类型，若是，则通知网络代理缓存模块，若否，则通知冗余删除处理模块；

所述网络代理缓存模块用于采用网络代理缓存实现网络数据的压缩得到所述网络数据对应的标识信息，并传输所述标识信息；

所述冗余删除处理模块用于采用网络冗余处理来实现网络数据的压缩得到所述网络数据对应的指纹信息，并传输所述指纹信息；

所述数据接收端包括：

数据恢复模块，用于通过数据接收端接收所述指纹信息和标识信息，并根据所述标识信息提取曾缓存于所述数据接收端网络数据，根据所述指纹信息恢复网络冗余处理前的网络数据；

汇聚模块，用于汇聚所述标识信息对应的网络数据和指纹信息对应的网络数据。

在其中一个实施例中，所述冗余删除处理模块包括：