[发明专利]硬件友好地数据压缩

说明书

提供了用于压缩数据的系统、装置和方法。一个示例性的方法可以包括将一个或多个字面量长度字段与一个或多个字面量字段交织到输出。字面量字段可以包含逐字复制到输出的第一数据段，并且一个或多个字面量长度字段中的每一个可以包含表示后续字面量字段的长度的值。该方法还可以包括确定与先前逐字复制的数据序列匹配的第二数据段和匹配位置，并且将输出的一个或多个匹配长度字段和包含匹配位置的匹配位置字段写入输出。字面量长度字段可以包含第一数据段的总长度，并且匹配长度字段可以包含第二数据段的总长度。

技术领域

本文的公开内容涉及数据压缩，尤其涉及无损压缩。

背景技术

数据压缩已广泛用于数字信号系统，例如通信和计算机系统。例如，为了节省存储空间或传输时间，通常将计算机数据压缩为TAR或ZIP文件格式。多年来，基于AbrahamLempel和Jacob Ziv最初在1977年和1978年出版的压缩技术开发了一系列压缩方案，这些技术被称为LZ77和LZ78。一些LZ系列压缩方案有利于压缩比而不是速度，而另一些则牺牲速度以获得更高的压缩比。然而，这些各种LZ压缩技术是为通用计算机系统开发的，该系统通常使用通用中央处理单元(CPU)来执行数据压缩或解压缩操作。因此，需要一种更加硬件友好的压缩技术，例如，适用于现场可编程门阵列(FPGA)或专用集成电路(ASIC)。

发明内容

本公开提供了用于无损压缩的系统和方法。压缩的数据可以包括两种类型的数据：字面量和匹配。字面量可以指可能从输入到输出逐字复制的数据。匹配可以指与先前复制的字面量匹配的数据，因此可以用对先前副本的指示对象替换。在一个实施例中，压缩数据块可以包括与一个或多个字面量字段交织的一个或多个字面量长度字段，在初始匹配长度字段之后插入匹配位置字段的一个或多个匹配长度字段，以及零个或多个重复长度字段。

示例性的压缩过程可以生成与一个或多个字面量字段交织的一个或多个字面量长度字段，使得一旦可以填充一个字面量长度字段和一个字面量字段，就可以输出要逐字复制的数据。一旦找到最小匹配大小的数据片段的匹配，就可以生成一个或多个匹配长度字段，并且可以定位匹配位置并将其插入到初始匹配长度字段之后的匹配位置字段中。压缩过程可以进一步确定是否重复匹配的数据段并记录匹配的数据段重复的次数。因此，重复长度字段可以组合包含表示匹配数据段可以重复多少次的总值。

在示例性实施例中，提供了一种用于生成压缩数据的方法。该方法可以包括：将一个或多个字面量长度字段与一个或多个字面量字段交织到输出，所述一个或多个字面量字段中的每一个包含从数据输入流逐字复制到输出的第一数据段的一部分，所述一个或者多个字面量长度字段的每一个包含表示后续字面量字段的长度的值，所述一个或多个字面量长度字段的组合包含表示所述第一数据段的总长度的第一总值；确定与先前逐字复制的数据序列匹配的数据输入流的第二数据段和匹配位置；以及向输出写入一个或多个匹配长度字段和包含表示匹配位置的值的匹配位置字段，所述一个或多个匹配长度字段的组合包含表示所述第二数据段的总长度的第二总值。

在示例性实施例中，提供了一种用于生成压缩数据的方法。该方法可以包括：打包数据输入流成多个数据片段，每个所述数据片段具有最小匹配长度的长度，所述多个数据片段的第一数据片段从所述数据输入流的起始数据单元处开始，所述第一数据片段之后的每个所述数据片段从前一个数据片段的第二个数据单元处开始；确定在已处理的数据中所述多个所述数据片段的每一个是否存在匹配；以及输出以字面量段开始的压缩数据流，其中，所述字面量段包括一个或多个字面量长度字段，每个所述字面量长度字段之后是相应的后续字面量字段，所述一个或多个字面量长度字段中的每一个均包含代表该相应的后续字面量字段的长度值，其中，所述一个或多个字面量字段的组合包括从所述多个数据片段的一个数据片段复制的数据，所述一个数据片段在已处理的数据中不存在匹配，或者从所述多个数据片段的连续的一系列数据片段复制的数据，所述一系列数据片段在已处理的数据中不存在匹配。该方法还包括从多个所述数据片段的连续的一系列数据片段复制的数据不重复重叠的数据序列，所述一系列数据片段在已处理的数据中不具有匹配。