[发明专利]带有逐点相对误差界限的有损压缩的方法

说明书

本发明提供了一种带有逐点相对误差界限的有损压缩的方法，包括以下步骤：A、制表，根据误差要求以及量化因子的区间来制表；B、获取量化因子；C、哈夫曼编码，通过哈夫曼编码来压缩步骤B中生成的量化因子序列；D、使用无损压缩方法，使用无损压缩方法来压缩步骤C生成的哈夫曼编码和哈夫曼树。本发明的有益效果是：可以避免带有逐点相对误差界限的有损压缩中耗时的对数变换，并通过查表来获取量化因子值，极大地加速了带有逐点相对误差界限的有损压缩。

技术领域

本发明涉及有损压缩的方法，尤其涉及一种带有逐点相对误差界限的有损压缩的方法。

背景技术

在高性能计算(HPC)环境中进行科学模拟产生的数据非常庞大，这可能会在运行时导致严重的I/O瓶颈，并为后期分析带来巨大的存储空间负担。与传统的数据缩减方案(例如重复数据删除或无损压缩)不同，有损压缩在满足用户对误差控制的要求下可以显着减小数据大小。为了自动地适应数据集中的精度要求，带有逐点相对误差界限(即，压缩误差取决于数据值)的有损压缩被广泛使用在了许多科学应用中。

原始的带有逐点相对误差界限的有损压缩在压缩过程中需要将所有数据都经过一次对数转换。计算对数在计算机中一般使用级数来实现，计算量大，比较耗时。计算对数这个步骤需要将所有的数据都转换为其对数形式，计算量和数据规模正相关，这个步骤的耗时在算法总耗时中占据了一个比较大的比例。导致带有逐点相对误差界限的有损压缩复杂且耗时。

因此，如何加快带有逐点相对误差界限的有损压缩是本领域技术人员所亟待解决的技术问题。

发明内容

为了解决现有技术中的问题，本发明提供了一种带有逐点相对误差界限的有损压缩的方法。

本发明提供了一种带有逐点相对误差界限的有损压缩的方法，包括以下步骤：

A、制表，根据误差要求以及量化因子的区间来制表；

B、获取量化因子；

C、哈夫曼编码，通过哈夫曼编码来压缩步骤B中生成的量化因子序列；

D、使用无损压缩方法，使用无损压缩方法来压缩步骤C生成的哈夫曼编码和哈夫曼树。

作为本发明的进一步改进，在步骤B中，计算实际值X_i和预测值X_i的比值然后使用步骤A生成的表，通过求得的R来查询量化因子。

作为本发明的进一步改进，步骤A包括以下子步骤：

A1、遍历量化因子的定义域，计算每个量化因子的覆盖范围，生成表T1，表T1是用量化因子来获取该量化因子覆盖范围的表；

A2、根据误差要求计算表T2的大小，根据表T1依次计算出表T2各个表项的数值并填写表T2，表T2是用比值R来获取量化因子M的表。

作为本发明的进一步改进，在步骤A1中，计算每个量化因子M_k对应的值域P_k，生成表T1。

作为本发明的进一步改进，在步骤A2中，相邻量化因子对应的值域之间产生重叠，重叠的大小小于表T2的表项。

本发明的有益效果是：通过上述方案，可以避免带有逐点相对误差界限的有损压缩中耗时的对数变换，并通过查表来获取量化因子值，极大地加速了带有逐点相对误差界限的有损压缩。

附图说明

图1是本发明一种带有逐点相对误差界限的有损压缩的方法的流程图。

图2是本发明一种带有逐点相对误差界限的有损压缩的方法的步骤A的流程图。

具体实施方式

下面结合附图说明及具体实施方式对本发明作进一步说明。