[发明专利]SNAPPY压缩算法硬件加速器

说明书

本发明公开了一种SNAPPY压缩算法硬件加速器，包括：长度生成模块用于接收待压缩数据，并获取待压缩数据的首地址，待压缩数据的长度和压缩写回数据首地址，将待压缩数据的首地址和待压缩数据的长度发送至读取模块，将压缩写回数据首地址发送至写回模块，将待压缩数据的长度转换为预设格式；读取模块用于读取长度生成模块中的待压缩数据，并将所读取的待压缩数据传输至压缩模块；压缩模块用于将读取模块传输的待压缩数据进行压缩，并将所压缩的数据传输至写回模块；写回模块用于接收来自压缩模块所压缩的数据并进行缓存，并将已压缩的数据发送至主机端。以硬件流水并行的处理能力完成SNAPPY压缩，不占用CPU进行压缩，从而压缩速度快，效率高。

技术领域

本发明涉及集成电路技术领域，尤其涉及一种SNAPPY压缩算法硬件加速器。

背景技术

SNAPPY压缩算法是大数据应用中常用的压缩算法，该压缩算法以字节为最小单位进行压缩，同时兼顾了压缩率和压缩速度，在保证可观的压缩率前提下有较快的压缩速度。SNAPPY压缩算法主要原理是通过将后面的数据与前面的数据进行比较，若存在重复的数据段，则使用偏移和长度代替重复的数据，其中偏移是指找到的重复数据段与当前数据的距离，长度是指重复数据段的长度。通过存储这样的一个(偏移，长度)数据对，来代替长度较长的重复数据段，达到压缩的目的。而对于未找到重复数据的部分，保留其原数据。

目前，SNAPPY压缩算法以64KB大小将数据切分为压缩块，每个压缩块之间独立压缩，即压缩过程中不会跨过64KB的边界寻找重复数据段，也不会将跨越64KB边界的元数据用于生成资料标记。

现有的SNAPPY压缩算法软件方案运行时需要占用大量的CPU计算资源，影响SNAPPY压缩算法性能和计算机系统的整体性能。如何克服SNAPPY压缩算法软件方案占用大量CPU计算资源的问题是需要解决的技术问题。

发明内容

为解决上述现有技术中存在的部分或全部技术问题，本发明提供一种SNAPPY压缩算法硬件加速器，在对数据进行压缩时，以硬件电路的方式实现，不占用CPU进行压缩，压缩速度快，效率高。

本发明的技术方案如下：

一种SNAPPY压缩算法硬件加速器，包括：

长度生成模块，所述长度生成模块用于接收待压缩数据，并获取待压缩数据的首地址，待压缩数据的长度和压缩写回数据首地址，将待压缩数据的首地址发送至读取模块，将压缩写回数据首地址发送至写回模块，将待压缩数据的长度转换为预设格式后将预设格式的数据发送至写回模块；

读取模块，所述读取模块用于读取主机端的待压缩数据，并接收来自长度生成模块发送的待压缩数据的首地址和待压缩数据的长度，并将所读取的待压缩数据传输至压缩模块；

压缩模块，所述压缩模块用于将所述读取模块传输的待压缩数据进行压缩，并将所压缩的数据传输至写回模块；

写回模块，所所述写回模块用于接收来自所述长度生成模块中传输的按预设格式转换后的待压缩数据的长度和所述压缩模块所压缩的数据并进行缓存，并将上述两种数据均发送至主机端。

进一步地，所述预设格式为变体小端格式。

进一步地，所述读取模块包括读取生成模块、读取控制模块和读取缓存模块，

所述读取生成模块用于缓存所述长度生成模块传输的待压缩数据首地址和待压缩数据长度，并生成从待压缩数据首地址开始且访问长度为待压缩数据长度的连续访问请求，完成待压缩数据从主机端的读取；

所述读取控制模块用于完成与主机端的交互，并产生控制信号，控制所述读取模块的读取过程；

所述读取缓存模块用于缓存从主机端读取的数据，并将所缓存的数据发送至所述压缩模块进行压缩。