[发明专利]一种基于时序数据分布特征的自适应无损压缩方法

摘要

本发明涉及一种基于时序数据分布特征的自适应无损压缩方法，其特征在于：包括以下步骤：（1）将所有的数据分为多个数据块，预测器读入一个数据块的值；（2）预测器根据预测公式保留对应数量的值，将保留的值放入压缩器；（3）预测器得出下一个时间点的预测值，计算出的偏差及异或运算结果放入压缩器；（4）预测器计算出每次参数的更新值并记录在预测器的缓存中；（5）数据块的数据全部处理后，压缩器中的结果通过二进制拼接：（6）调整预测器缓存中相应的参数；（7）预测器使用新参数读下一个数据块；本发明不局限于一种固定的压缩参数，不断改变的压缩参数可以达到最大化压缩率，在有限的内存和存储空间中处理更大的数据量。

主权项

1.一种基于时序数据分布特征的自适应无损压缩方法，其特征在于：包括一个预测器、一个压缩器和一个解压缩器，具体包括以下步骤：（1）将所有的数据分为多个数据块，预测器按照数值的时间戳顺序，从开始时间往后，依次读入一个数据块中一串时间序列数据的值；（2）预测器先保留数据块中最前面的几个值依次放入预测器缓存中用作预测使用，同时将保留的值直接转换成64位补码的形式依次放入压缩器，所述预测公式由预先指定；（3）预测器根据缓存中保存的值以及预测公式得出下一个时间点的预测值，在读入下一个时间点的实际值之后，计算出预测值和实际值的偏差，同时计算出预测值和实际值的二进制补码的异或运算结果，将异或运算结果按顺序放入压缩器；（4）预测器根据预测值和实际值的偏差，先计算出损失值，再根据损失值计算出每个参数的损失梯度，最后根据损失梯度分别计算出参数a和参数b的更新值，并将每次需要更新的值记录在预测器的缓存中；（5）当一个数据块的数据全部经过预测器处理后，压缩器将得到的最先保留的值的64位补码和之后的所有预测值和实际值的64位补码的异或操作结果的二进制拼接起来；（6）分别计算预测器缓存中保存的每个参数每次需要更新的值的代数平均值，并并根据调整相应的参数；将调整之前的参数和压缩器中拼接得到的二进制串持久化储存在硬盘中；（7）预测器继续读入下一个数据块，并使用调整后的参数重复步骤（1）—（6）；（8）需要恢复数据时，解压缩器首先根据当前参数恢复预测公式；根据二进制串的前几个二进制位恢复该数据块的前几个数；根据数据块的前几个数预测下一个数，根据预测值和存储的二进制异或串恢复出真实值。