[发明专利]一种LZ系列压缩算法自适应优化方法

说明书

本发明涉及数据压缩技术领域，通过获取待压缩数据，利用LZ77滑动窗口的长度将待压缩数据划分为多个分区，利用LZ77滑窗字典对初始分区中的语句进行压缩，给压缩语句建立标签值并每次压缩时将该语句的标签值增加一，将压缩完成的初始分区中具有相同数据的语句中长度短的语句进行排除，长度长的语句进行保留，并更新保留语句的标签，筛选出符合标准的语句得到辅助记忆字典，利用LZ77滑窗字典对其他每个分区进行并行辅助压缩，每压缩一个语句，对辅助记忆字典进行更新，并获取辅助记忆字典中每个语句的衰减值，并将衰减值小于衰减阈值的语句进行删除，方法实现了辅助记忆字典的自适应更新，提高了压缩效率。

技术领域

本申请涉及数据压缩技术领域，具体涉及一种LZ系列压缩算法自适应优化方法。

背景技术

如今，科技飞速发展，互联网越来越普及，人们获取信息的方式也多种多样，无论是从互联网、移动设备、终端设备上等途径获取的信息，都需要进行数据的传输和存储，为提高数据的传输性能，往往需要在数据传输前进行数据压缩，通过有损/无损压缩算法来减少待传输的数据总量。

LZ算法是最常用的无损压缩算法，LZ算法是以一个滑动窗口建立字典，包括待压缩数据区和缓冲数据区，将缓冲数据区中的数据在缓冲数据区中检索匹配，进行匹配压缩。

但是LZ算法的LZ滑动窗口字典，在压缩数据的过程中常常因为很多重复的数据之间的间隔距离超过了一个滑动窗口长度，因而导致重复的数据无法匹配压缩，造成压缩效率降低，常规的解决办法是为LZ滑动窗口字典的增加固定长度值，让滑动窗口建立的字典可以包含更多的数据量，但是，增加长度，会增加字典的检索时长，导致压缩效率不高。

发明内容

本发明提供一种LZ系列压缩算法自适应优化方法，解决LZ算法压缩效率不高的问题，采用如下技术方案：

获取待压缩的数据；

首先获取一个LZ77滑窗字典长度的待压缩数据，然后每次增加一个LZ77滑窗字典长度，并根据每个长度内每个数据出现的概率得到该长度内的数据重复性，若增加后的长度内的数据重复性小于增加前的长度内的数据重复性时，停止增加长度，将增加前的长度内的待压缩数据作为初始分区；

使用LZ77滑窗字典对初始分区中的数据进行压缩，将每次压缩的数据作为一个语句，当每个语句首次被压缩时，对该语句建立一个标签值并进行初始化，当压缩与该语句相同的语句时将该语句的标签值增加一，直至初始分区压缩完成；

获取初始分区中具有相同数据的语句，将具有相同数据的语句中长度最长的语句保留，其余的语句排除，并且将排除掉的语句的标签值与保留的语句的标签值之和，作为保留的语句的标签值；

根据初始分区中每个保留语句的标签值和长度判断该保留语句是否符合辅助记忆字典的录入标准，并利用符合录入标准的保留语句初始化辅助记忆字典；

获取除了初始分区之外的其他每个分区，将其他每个分区中的数据在辅助记忆字典和LZ77滑窗字典中进行检索匹配；

若只有LZ77滑窗字典中可以匹配到，则使用LZ77滑窗字典进行压缩，若只有辅助记忆字典中可以匹配到，则以辅助记忆字典进行压缩，若辅助记忆字典和LZ77滑窗字典中都可以匹配到，则以LZ77滑窗字典进行压缩；

无论LZ77滑窗字典还是辅助记忆字典进行压缩，每压缩一个语句，在辅助记忆字典中检索与该语句具有相同数据的语句，并将该语句和具有相同数据的语句中，长度最长的语句替换掉长度最短的语句，进行自适应更新。

所述进行自适应更新的方法为：

无论是利用LZ77滑动窗口压缩还是利用辅助记忆字典进行压缩一个语句时；

在辅助记忆字典中检索该语句，若能检索到，则将该语句的标签值加一；