[发明专利]时序数据库自适应有损压缩方法、系统及介质

说明书

时序数据库自适应有损压缩方法、系统及介质，涉及计算机技术领域，针对现有技术中缺少提高数据压缩比的方法的问题，本申请自适应用户的压缩精度需求。用户可以确定压缩精度，通过存储数据段的基和部分偏差来确保压缩在相应的精度内。数据库的数据压缩比高，节省存储空间。有损压缩降低精度，在保持基的同时将部分偏差丢弃，降低存储空间。使用类似Huffman编码的思想进行编码，进一步提升压缩比。编码方式灵活。可以更换编码方式，Huffman编码需要整段全解压缩才能够查询，查询效率低时可以选择更换不同的编码方式来提升效率。

技术领域

本发明涉及计算机技术领域，具体为时序数据库自适应有损压缩方法、系统及介质。

背景技术

近年，随着人工智能、5G、AIoT等技术的推动，全球数据量正在无限地增加。2018年全球数据总量为33ZB，在2019年约达到45ZB。按照这样的增长趋势，到2025年，全年将会有175ZB的数据产生。截止到2020年全球有500亿的设备数据上云，这些设备覆盖了很多实际场景，比如：智能生活、智能城市、智能农业等等。随着智能机器、物联网设备和传感器收集和传输大量测量数据的快速增长，对于数据存储来说，考虑数据压缩策略变得至关重要。在许多情况下，时间序列由高频浮动组成点数据。该数据通常包含测量噪声，因此有损压缩可以提供明显更好的压缩，而不会对下游应用程序产生不利影响。在某些情况下，由于数据的隐式去噪，有损压缩可以提高下游应用程序的性能。同时，对于时序数据库本身而言，时序数据存在数据量大的特点，随着时间的推移数据的时效性降低，早期产生的数据所具有的价值会越来越低，对压缩比的要求也越来越高。数据压缩的研究传统上侧重于提高压缩比，目标是使其接近香农熵极限。在这一点上，达到或接近熵极限的压缩方案是众所周知的，其中一些最典型的例子是Huffman码和通用Lempel-Ziv(LZ)码。但是，这些代码并不足以满足所有场景。重要的是，它们必须解压缩所有压缩数据才能检索单个位，使这些编码不适合现代数据存储系统的要求，特别是时序数据库场景下，合适的压缩方案需要以有利于这种使用的方式存储数据。因此，时序数据库中有损压缩技术也越来越有必要性。

综上，时序数据库中的时序序列数据，在许多工业场景下对精度要求不高，对误差的容忍度高；同时，对于产生时间较早的数据由于查询频率的降低，在实际应用中数据库解压缩速度便不再那么重要，提高数据压缩比来节省存储空间的意义变得越来越大。在这样的现实情况下，对有损压缩技术产生了需求，特别是可以对误差需求进行自适应的有损压缩技术。

发明内容

本发明的目的是：针对现有技术中缺少提高数据压缩比的方法的问题，提出时序数据库自适应有损压缩方法、系统及介质。

本发明为了解决上述技术问题采取的技术方案是：

时序数据库自适应有损压缩方法，包括以下步骤：

步骤一：获取待压缩的时序数据，并将待压缩的时序数据划分成不同的数据块，数据块中的数据与其他数据块中的数据不重复；

步骤二：根据精度需求，删除每个数据块中精度需求以外的数据点位；

步骤三：针对步骤二处理后的数据块，将每个数据块中相关性最小的一个数据点位作为偏差，将其余部分作为基，利用基及偏差表示对应的数据块，若含有相同的基，则对应的数据块共用一个基，并将重复的基删除，最后计算所有基和偏差所需的存储空间；

步骤四：令i＝i+1，执行步骤三进行迭代，若当前所需的存储空间大于上一次所需的存储空间时，则停止迭代，并将上一次得到的基和偏差作为最终基和偏差，其中，i表示每个数据块中相关性最小的数据点位的个数；

步骤五：将最终基和偏差进行存储。

进一步的，所述步骤五的具体步骤为：

步骤五一：针对得到的最终基，在基字典中查找是否存在相同的基，若基字典中存在相同的基，则记录基字典中该基的ID，若基字典中不存在相同的基，则将该基保留；