[发明专利]一种数据压缩过程中的编码方法

权利要求书

1.一种数据压缩过程中的编码方法，其特征在于包含如下步骤：

步骤(1)对于关键数据流用分块算法进行分块；所述关键数据流是指一类有特定QoS需求的数据流的集合；

所述的分块算法是一种结合了固定分块算法、Bloom Filter算法和MD5算法的数据分块算法；

步骤(2)将分块后的数据块在重复数据库中进行检测；

判断每个数据块的长度是否大于256字节；若数据块的长度大于256字节，则执行步骤(3)；若数据块的长度小于等于256字节，则按照0型编码输出；

所述0型编码是当数据块的长度小于等于256字节时，将标识位置“00”；所述的重复数据库是存放数据块的MD5指纹值、原始数据、发送索引、接收索引、频率计数器的数据库；

步骤(3)计算该数据块的MD5值并与重复数据库进行比对，当计算出的MD5值不在重复数据库时，执行步骤(4)，否则执行步骤(5)；

步骤(4)对过滤出来的MD5值不重复数据块进行数据处理；

4-1.将数据块相应的MD5值、原始数据、发送索引和频率计数器加入到重复数据库里；

4-2.发送2型编码给对端数据库，等待生成的接收索引字段；

所述2型编码是当数据块长度大于256字节且其MD5值不在重复数据库时，将标识位置“10”；

4-3.送往TCP代理处等待数据流的整合；

4-4.当接收索引字段同步返回本段数据库时，对后续同样的数据段做替换处理；

步骤(5)对过滤出来的MD5值重复数据块进行数据处理；

5-1用发送索引替换该数据块；

5-2对数据块进行1型编码；所述1型编码是当数据块长度大于256字节且其MD5值已在重复数据库时，将标识位置“01”；

5-3数据库中频率计数器字段加一；

步骤(6)重复数据库对库中频率计数器进行统计，淘汰替换率低的数据块；

步骤(7)等待下一次的数据流的到来。