[发明专利]数据压缩

说明书

一种用于扩充数据压缩方案的字典的方法。对于每个输入字符串，将滑动窗口搜索的结果与字典搜索的结果进行比较。如果滑动窗口搜索结果长于字典搜索结果，则用滑动窗口搜索结果扩充字典。本公开的实施例实现多个滑动窗口，每个滑动窗口具有相关联的大小，滑动窗口的大小取决于对应的匹配长度。对于一个实施例，每个滑动窗口具有基于匹配长度的对应的哈希函数。

背景技术

本公开总体上涉及数据传输和存储领域，并且更具体地涉及数据压缩和解压缩。

在数字系统中，可以压缩数据以节省存储成本或减少传输时间。可以压缩各种各样的数字数据信号(例如，数据文件、文档、图像等)。通过减少数据存储所需的内存和/或数据传输所需的时间，压缩能够提高系统性能并降低成本。

一些众所周知且广泛使用的无损压缩方案采用基于字典的压缩，其利用以下事实：许多数据类型包含重复的字符序列。一种常规的算法LZ77通过用对未压缩数据流中较早存在的该数据的单个副本的引用来替换重复出现的数据而实现压缩。反复出现的数据(字符串匹配)通过称为长度-距离对的一对数字来编码，该长度-距离对等效于以下语句：“下一个长度字符中的每个等于未压缩流中紧随其后恰好距离字符的字符”。有时会将“距离”称为“偏移”。

为了发现字符串匹配，编码器必须跟踪一定量的最新数据，例如最新的32kB数据。保留该数据的结构称为滑动窗口。编码器使用该数据来搜索字符串匹配，并且解码器使用该数据来解释编码器所引用的匹配。滑动窗口越大，编码器搜索到创建引用的时间就越长。

因此，为了实现压缩，编码器在滑动窗口中包含的数据中进行搜索，以找到与从输入流中的当前位置开始的字符串匹配的最长字符串。编码器对当前位置的某个数据单元以及输入流中一个或多个后续数据单元执行哈希函数，并使用所得的哈希作为进入哈希表的索引，该哈希表针对每个哈希包括一组指向历史缓冲区中产生相同哈希的其他字符串的指针。

LZ78算法通过用对基于输入数据流而建立的字典的引用来替换重复出现的数据而实现压缩。每个字典条目的形式为dictionary[...]＝{index,character}，其中index是上一个字典条目的索引，字符附加到由dictionary[index]表示的字符串后面。例如，“abc”将(以相反的顺序)存储为：dictionary[k]＝{j,‘c’},dictionary[j]＝{i,‘b’},dictionary[i]＝{0,‘a’},其中索引0表示字符串的第一个字符。

该算法初始化最后一个匹配索引＝0，下一个可用索引＝1。对于输入流的每个字符，在字典中搜索匹配：{最后一个匹配索引，字符}。如果找到匹配，则将最后一个匹配索引设置为匹配条目的索引，不输出任何内容。如果未找到字符串匹配，则创建一个新的字典条目：字典[下一个可用索引]＝{最后一个匹配索引，字符}，并且算法输出最后一个匹配索引以及字符，然后重置最后一个匹配索引＝0并递增下一个可用索引。

LZW是基于LZ78的算法，其使用以所有可能的字符(符号)预初始化的字典或预初始化字典的仿真。LZW的主要改进是，当未找到匹配时，假定当前输入流字符是字典中现有字符串的第一个字符(因为已使用所有可能的字符对字典进行了初始化)，因此仅输出最后一个匹配索引(其可以是对应于上一个输入字符或初始输入字符的预初始化字典索引)。为了对LZW压缩的数据进行解码，解码器需要访问使用的初始字典。可以从先前的条目中重构其他条目。

通常，基于字典的压缩方法使用用标识字典中的子字符串的代码字替换数据流中的子字符串的原则。如果已知输入流和统计信息，则此字典可以是静态的，或字典可以是适应性的。适应性的字典方案更适合处理统计信息未知或变化的数据流。

基于常规字典的滑动窗口压缩技术中的每个都有缺点。例如，使用LZ78型字典(例如LZW)压缩某些数据类型可以是有益的；使用LZ77字符串匹配压缩其他数据类型可以更有效。