[发明专利]基于内容可寻址存储器的高速无损数据压缩系统

说明书

技术领域

本发明涉及到硬件系统的数据压缩技术领域。 

背景技术

在基于LZW(Lempel-Ziv-Welch)算法的无损数据压缩硬件实现中，压缩率和压缩速度是两个用于衡量压缩性能的重要指标。通常情况下，在压缩算法正确实现后，压缩率仅取决于待压缩数据源的特性，例如其冗余度及局部关联性，而压缩速度变化的空间则较大，目前实现的一般数据处理能力都可以达到20KB/s左右。在某些低速场合，这个速率完全可以满足要求，但是一旦系统实时要求能力提高则无法应用。为此，我们需要尽可能的提高数据压缩速度，因而首先需要分析压缩算法流程。在LZW压缩算法实现过程中，如图2所示，需要用到一个字典模块，用于存放压缩过程中生成的串表。通常情况下，此字典模块均是采用FPGA内部的RAM来构造。通过构造位宽比较大的RAM，高字节用于存放代码，低字节用于存放压缩中需要的前缀和后缀。针对字典的操作中，最重要的一个就是对字典的查找，这个过程决定了压缩算法的速度。而RAM主要根据输入地址进行对应的查找。假设在一个深度为512的由RAM构建的字典中查找一个数据，则RAM需要从地址为最低位(即“000000000”)一直向地址为最高位(即“111111111”)进行顺序查找，直到RAM中存储数据与待查找数据相同才会停止查找过程。查找所需时钟周期为1～512，不仅耗费时钟不确定会为程序实现带来很大的困难，而且在极端情况下，需要花费512个时钟周期，由于初始化尚且仅需256个时钟周期。因而相对而言，这个花费是非常大的。为解决此问题，人们提出了许多方法。其中比较成功的是将原本用于软件实现压缩算法中的哈希表地址模块引入到硬件实现中。但是采用哈希表地址模块对字典的查找仍要花费几十个时钟周期，并且会带来新的诸如哈希表地址冲突等问题，会给程序实现上带来更多不必要的麻烦。 

发明内容

为了解决已有技术中压缩速率低、耗费硬件芯片内有限RAM资源多、查找周期不定等问题，以及采用哈希表地址模块实现字典查找存在的地址冲突的问题，本发明提出了一种基于内容可寻址存储器的高速无损数据压缩系统。 

本发明的基于内容可寻址存储器的高速无损数据压缩系统包括时钟模块、输入数据缓存模块、字典模块、LZW算法核心模块和输出编码模块，其中： 

时钟模块，用于提供系统所需要的所有时钟信号； 

输入数据缓存模块，由FPGA内部的先入先出存储器FIFO构成，用于缓存输入数据，并将输入的数据以数据流的形式提供给LZW算法核心模块进行压缩； 

LZW算法核心模块，所述LZW算法核心模块用于接收输入数据缓存模块输出的数据流；还用于通过对字典的初始化、查找、更新以及LZW算法的应用实现对输入数据流的压缩，并将压缩后生成的代码流输入到输出编码模块； 

输出编码模块，用于根据后端存储器或总线位宽的需要将输入的代码流转换成预期的数据流； 

其特征在于，所述字典模块由FPGA内部的CAM构造，所述CAM的位宽为17位，深度为512；并且所述CAM中存储体的地址对应LZW算法核心模块中的LZW算法的代码。 

本发明的基于内容可寻址存储器的高速无损数据压缩系统，提高了压缩速率，减小了查找延迟，扩大了适用范围。它实现了基于FPGA的高速无损数据压缩，解决了字典查找的速度问题。本发明能够在一个时钟内完成查找，查找时间确定，从而使得压缩过程数据处理速度可以达到20MB/s以上。具体有以下优点： 

固定查找周期：保证每次对字典的搜索过程都可以在一个时钟内完成。 

高速率：压缩算法数据处理能力可以达到20MB/s以上。 

低RAM使用率：几乎不占用任何RAM资源。 

资源有效利用：原有技术中RAM的地址在系统中没有任何作用。本发明中CAM(Content Addressable Memory)的地址可以用作压缩过程中的代码。而CAM的内容则完全用于存储所需的由前缀和后缀生成的ENTRY，有效利用FPGA内部资源。 

与RAM或普通CAM相比，本发明的CAM性能如下表所示(以深度为512为例)