[发明专利]一种数据压缩过程中的编码方法

说明书

本发明公布了一种数据压缩过程中的编码方法。本发明步骤如下：步骤(1)对于关键数据流用分块算法进行分块；步骤(2)将分块后的数据块在重复数据库中进行检测；步骤(3)计算该数据块的MD5值并与重复数据库进行比对，当计算出的MD5值不在重复数据库时，执行步骤(4)，否则执行步骤(5)；步骤(4)对过滤出来的MD5值不重复数据块进行数据处理；步骤(5)对过滤出来的MD5值重复数据块进行数据处理；步骤(6)重复数据库对库中频率计数器进行统计，淘汰替换率低的数据块；步骤(7)等待下一次的数据流的到来。本发明有效的编码方法过滤了原数据流中的低频数据块，减少了重复数据库检索的压力，提高了数据传输效率。

技术领域

本发明属于网络通信技术领域，尤其涉及一种数据压缩过程中的编码方法。

背景技术

在目前的广域网中约有60％的流量都是重复的，这会造成广域网中数据的反复重传以及大量的数据冗余。

目前广域网加速技术的研究已较为成熟，但是依然存在着算法的复杂度较高、内存消耗大、加速策略单一的缺点，将广域网加速的数据压缩运用到SD-WAN中来，对重复数据库存储机制进行改进，实现关键数据流的优先、加速传输。

在这种数据压缩编码过程中，对传统的重复数据库进行改进，添加了新的频率计数器字段，接着数据压缩模块运行并与重复数据库进行交互，执行查询、替换等操作，TCP代理对数据流进行重组后发往广域网中进行传输。这种编码过程过滤了原数据流中的低频数据块，减少了重复数据库检索的压力。

发明内容

本发明的目的是克服现有技术的不足，提出一种数据压缩过程中的编码方法。

本发明解决其技术问题所采用的技术方案包含如下步骤：

步骤(1)对于关键数据流用分块算法进行分块；所述关键数据流是指一类有特定QoS需求的数据流的集合；

所述的分块算法是一种结合了固定分块算法、Bloom Filter算法和MD5算法的数据分块算法；

步骤(2)将分块后的数据块在重复数据库中进行检测；

判断每个数据块的长度是否大于256字节；若数据块的长度大于256字节，则执行步骤(3)；若数据块的长度小于等于256字节，则按照0型编码输出；

所述0型编码是当数据块的长度小于等于256字节时，将标识位置“00”；所述的重复数据库是存放数据块的MD5指纹值、原始数据、发送索引、接收索引、频率计数器的数据库。

步骤(3)计算该数据块的MD5值并与重复数据库进行比对，当计算出的MD5值不在重复数据库时，执行步骤(4)，否则执行步骤(5)；

步骤(4)对过滤出来的MD5值不重复数据块进行数据处理；

4-1.将数据块相应的MD5值、原始数据、发送索引和频率计数器加入到重复数据库里；

4-2.发送2型编码给对端数据库，等待生成的接收索引字段；

所述2型编码是当数据块长度大于256字节且其MD5值不在重复数据库时，将标识位置“10”；

4-3.送往TCP代理处等待数据流的整合；

4-4.当接收索引字段同步返回本段数据库时，对后续同样的数据段做替换处理；

步骤(5)对过滤出来的MD5值重复数据块进行数据处理；

5-1用发送索引替换该数据块；

5-2对数据块进行1型编码；所述1型编码是当数据块长度大于256字节且其MD5值已在重复数据库时，将标识位置“01”；

5-3数据库中频率计数器字段加一；