[发明专利]通过流缓存实现网间数据传输加速的方法

说明书

技术领域

本发明为一种网间加速技术，特别涉及一种通过减少冗余数据传输，提高网间数据传输速度，通过流缓存实现网间数据传输加速的方法。

背景技术

目前，由于网络的无可便利性，越来越多的企业和个人通过网络进行协调办公和业务往来。网络间传输的数据量急剧增加，为此需要更高的带宽以满足需求。尽管当前申请互联网带宽的费用趋向便宜，但毕竟internet总的带宽资源有限，如果不采取一定手段，仍无法保证核心应用对WAN带宽资源的需求。另外，随着新一代无线通信的发展，更多的企业和个人趋向于无线办公。与有线网络相比，无线网络带宽缺乏尤为明显，严重影响企业和个人办公效率。

据统计，广域网上传输数据中，70％左右的数据为冗余信息，理论上说，70％左右的数据完全没必要在广域网传输。因此，若采用某压缩方法，而该方法可减少70％数据的网上传输，则能大幅提高带宽利用率，降低网络运营成本，提高办事效率。

就目前技术来看，绝大多数网络设备采用lzo及其变形流压缩算法。该算法能有效压缩居于文本文档或数据库等信息熵小的数据，但其也存在明显缺陷：由于其只能在较小数据区间内压缩，故压缩比率不高。另外，其对已被压缩的数据包苍白无力(比如rar，jpg图像等)，因此提高带宽利用率相当有限。

发明内容

本发明的目的在于克服上述现有技术中的不足之处，提供一种通过特征提取方法快速识别网络输入数据，并依据数据流仓库将重复的数据替换成有效的编码，在远端的流cache设备会将编码翻译回原来的数据，从而减少了在广域网上传输的数据量。由于数据流仓库很大(可通过硬盘保存，几百兆到几百千GB不等)，可保存比通常压缩方法更多的重复模式。因此，可在数据流库中找到绝大多数的冗余信息，大幅降低网络数据传输量，提高带宽利用率的一种通过流缓存实现网间数据传输加速的方法。

本发明的目的可以通过以下措施来达到：

这种通过流缓存实现网间数据传输加速的方法，其特殊之处在于，它包括压缩流程和解压缩流程：

所述压缩流程，包括以下步骤：

(1)、初始化(步骤101)；

(2)、提取待压缩的数据包特征值(步骤102)；

(3)、判断数据流间的匹配是否完毕(步骤103)；

(4)、若步骤103的判断结果为否，则进一步判断剩余未参加计算的特征值大于设定值(步骤104)；

(5)、若步骤103的判断结果为是，则经“将数据包保存至数据流仓库，将数据包中各特征值在数据流仓库的位置保存至hash文件桶中”(步骤111)、“在数据包前添加未匹配编码头，输出编码包”(步骤1112)至完毕(步骤113)；

(6)若步骤104的判断结果为是，则根据设定值的连续特征值计算hash桶号A(步骤105)；

(7)若步骤104的判断结果为否，则经“将数据包保存至数据流仓库，将数据包中各特征值在数据流仓库的位置保存至hash文件桶中”(步骤111)、“在数据包前添加未匹配编码头，输出编码包”(步骤1112)至完毕(步骤113)；

(8)步骤105获取hash表桶号A的内容，得到在数据流仓库中的位置B(步骤106)；

(9)从数据流仓库位置B开始读出若干字节，并保存至一临时缓冲区(步骤103)；

(10)寻找临时缓冲区与带压缩数据包最佳匹配(步骤108)；

(11)判断是否找到匹配(步骤109)；

(12)若步骤104的判断结果为否，则返回步骤103；

(13)若步骤104的判断结果为是，则将编码包类型设为匹配类型，将匹配结果编码输出(步骤110)；

(14)完毕(步骤113)；

所述解压缩流程，包括以下步骤：

(15)初始化(步骤201)；

(16)判断编码类型是否未匹配(步骤202)；

(17)若步骤202的判断结果为否，则经“根据匹配位置和长度从数据流仓库中还原数据包”至“输出还原数据包完毕”(步骤210)；

(18)若步骤202的判断结果为是，则去掉编码头，还原数据包(步骤203)；

(19)将数据包保存至数据流仓库(步骤204)；

(20)提取数据包特征值(步骤205)；

(21)根据设定值的连续特征值计算hash桶号A(步骤206)；

(22)将数据包中各特征值在数据流仓库的位置保存至hash文件桶A中(步骤207)；

(23)判断剩余未参加计算的特征值大于设定值(步骤208)；