[发明专利]用于数据压缩的数据值出现信息

权利要求书

1.一种用于生成数据值的出现数据以用于支持数据集编码的计算机化方法，所述方法包括：

确定当前数据批次中的数据值的出现；

确定针对所述当前数据批次中的至多第一数目(M)的最频繁的数据值的出现计数信息，所述出现计数信息标识所述最频繁的数据值及其出现计数；

针对所述当前数据批次中的其余数据值生成具有第二数目(N)的柱的至少第一直方图；

将所述当前数据批次的所述出现计数信息合并到较早处理的数据批次的合并的出现计数信息中；

将所述当前数据批次的所述第一直方图合并到与较早处理的数据批次相对应的合并的直方图中；

将下一数据批次作为当前数据批次来处理，直到按批次处理了要被编码的所述数据集为止。

2.根据权利要求1所述的方法，包括：至少基于与所述数据集相对应的合并的出现计数信息以及与所述数据集相对应的合并的直方图，来确定用于所述数据集的编码方案。

3.根据权利要求1或者2所述的方法，包括：在处理所述第一数据批次时，确定针对所述至少第一直方图的柱的宽度。

4.根据权利要求3所述的方法，其中前缀-偏移编码被用于编码直方图柱中的值，并且所述柱的宽度等于偏移比特的数目，前缀-偏移码的大小是偏移比特的数目和所述前缀码的大小的和，所述方法包括：在用于所述第一数据批次的前缀码词典的给定最大大小的约束下，通过最小化所述前缀-偏移码的大小来确定偏移比特的数目。

5.根据权利要求1或者2所述的方法，包括：对所述数据集进行采样，以用于确定所述柱的宽度。

6.根据任一前述权利要求所述的方法，包括：通过执行以下步骤中的至少一个来对所述合并的出现计数信息和所述合并的直方图进行重新分组：

将与所述合并的出现计数信息相关联的所述最频繁的数据值中的至少一个转移到所述经合并的直方图中；

如果所述合并的直方图中的柱的数目大于所述第二数目(N)，则调整所述合并的直方图中的柱的宽度；以及

移除所述合并的直方图的至少一个柱，并且将与所述至少一个柱相关联的值作为噪声来计数。

7.根据任一前述权利要求所述的方法，包括：

为利用所述合并的出现计数信息跟踪的出现计数所针对的数据值的数目提供第一预定义阈值，并且为所述合并的直方图中的柱的数目提供第二预定义阈值，以及

响应于所述第一预定义阈值和所述第二预定义阈值中的至少一个被超过，将所述合并的出现计数和所述合并的直方图重新分组为至多所述第一数目的频繁数据值和具有所述第二数目的柱的直方图。

8.根据任一前述权利要求所述的方法，包括：

将字典编码用于与所述合并的出现计数信息相关联的值；以及

将前缀-偏移编码用于与所述至少第一直方图相关联的值。

9.根据任一前述权利要求所述的方法，包括：

与所述至少直方图和所述合并的直方图单独地维护最不频繁的值；以及

使用以下格式中的至少一种来存储所述最不频繁的值：未压缩格式、偏移编码。

10.根据任一前述权利要求所述的方法，包括：使用直方图的层级，其中与较频繁的值相关联的直方图的柱宽度小于与较不频繁的值相关联的直方图的柱宽度。

11.一种数据处理系统，包括：

输入装置，用于接收要被编码的数据；

分割装置，用于将要被编码的数据分割为数据批次；

批次直方图装置，用于确定数据批次中的数据值的出现，所述批次直方图装置适于：

确定针对所述数据批次中的至多第一数目(M)的最频繁数据值的出现计数信息，所述出现计数信息标识所述最频繁的数据值及其出现计数；

针对所述数据批次中的其余数据值生成具有第二数目(N)的柱的至少第一直方图；

合并装置，可操作地连接至所述批次直方图装置，用于将第一数据批次的所述出现计数信息合并到至少一个另外的数据批次的合并的出现计数信息中，以及用于将所述第一数据批次的所述第一直方图合并到与所述至少一个另外的数据批次相对应的合并的直方图中。